Analyzer 中文分词器

IKAnalyzer:
jar: IKAnalyzer-IKAnalyzer2012FF_u1.jar

import java.io.IOException;
import java.io.StringReader;
import java.util.ArrayList;
import java.util.List;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apdplat.word.WordSegmenter;
import org.apdplat.word.lucene.ChineseWordAnalyzer;
import org.apdplat.word.segmentation.SegmentationAlgorithm;
import org.apdplat.word.segmentation.Word;

public static void printOut(String keyword){
    Analyzer analyzer   =new IKAnalyzer();
    StringReader reader=new StringReader(keyword);

    try {
        TokenStream ts=analyzer.tokenStream("", reader);
        CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
        ts.reset();
        while(ts.incrementToken()){
            System.out.println(term.toString());
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
}

new IKAnalyzer()的效果： （默认为false）
中华人民共和国
中华人民
中华
华人
人民共和国
人民
共和国
共和
国

new IKAnalyzer(true)的效果：
中华人民共和国

IKAnalyzer支持两种分词模式： false:最细粒度 true:智能分词模式

============================================

自定义分词器：（自定义,分割）
import java.io.Reader;
import java.util.regex.Pattern;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.core.LowerCaseFilter;
import org.apache.lucene.analysis.pattern.PatternTokenizer;

/**
* 正则分词器
* @author bowen_bao
*/

public class PatternAnalyzer extends Analyzer{

private Pattern pattern;
private boolean toLowerCase;

public PatternAnalyzer(String regex,boolean toLowerCase){
    this.pattern=Pattern.compile(regex);
    this.toLowerCase=toLowerCase;
}

@Override
protected TokenStreamComponents createComponents(String arg0, Reader arg1) {
    PatternTokenizer tokenizer=new PatternTokenizer(arg1,pattern,-1);
    TokenStream result =toLowerCase?new LowerCaseFilter(tokenizer):tokenizer;
    return new TokenStreamComponents(tokenizer,result);
}

}

new PatternAnalyzer(“,”,true);

======================================================

IKAnalyzer.cfg.xml为IKAnalyzer的配置文件 ，放在resources 下面
ext_dict 为扩展字典
ext_stopwords 为停止词字典

=================================================