2014-1-19_自己动手写中文分词并编写solr接口

一段时间写了DATrie结构的实现博客。一直没有用DATrie来实现一个简单的词典分词。这几天就自己写了一个简单的中文分词。分词算法是最简单的最大逆向匹配。词典用DATrie来存储。

分词的基础知识都比较基础了。这里侧重于分词器与lucene/solr的集成。

在solr4.2中实现分词接口还是比较简单的。可以先参考一下StandardTokenizer类中的代码。

这里需要注意Lucene多线程的问题。Lucene多线程实现的思路是每个Field一个线程。

简单地，实现分词器的lucene/solr接口有三步

1、实现一个TokenizerFactory接口。代码如下：

public    class    XhTokenizerFactoryextends TokenizerFactory{
    @Override
    public Tokenizer create(Reader input) {
    returnnew XhTokenizer(input);
    }
}

2、实现自己的Tokenizer

这里需要关注的就是incrementToken方法。分词的结果并不直接返回，而是存储到CharTermAttribute、OffsetAttribute、

PositionIncrementAttribute、和TypeAttribute四个接口的实现类里面。incrementToken方法返回的是一个boolean值，表示对当前input是否分词完成。

3、（可选）如果想在Lucene中使用分词，那就需要实现自己的Analyzer类。代码如下：

public class XhAnalyzer  extends Analyzer {
@Override
protected TokenStreamComponents createComponents(String fieldName,
Reader reader) {
    final XhTokenizer src=new XhTokenizer(reader);
    returnnew TokenStreamComponents(src) {
    @Override
    protectedvoid setReader(final Reader reader) throws IOException {
    super.setReader(reader);
      }
    };
}

其实还是调用Tokenizer接口的实现。

这样就把一个分词器集成到lucene/solr中去了。整个项目的代码提交到github上面：https://github.com/sbp810050504/xh_seg