lucene 分词器

 

 

package cn.itcast.lucene.analyzer;

import java.io.IOException;
import java.io.Reader;
import java.io.StringReader;
import jeasy.analysis.MMAnalyzer;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cjk.CJKAnalyzer;
import org.apache.lucene.analysis.cn.ChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.junit.Test;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class analyzer {
 @Test
 public void test1() throws IOException {

  // (hello,0,5,type=<ALPHANUM>)
  // (i,9,10,type=<ALPHANUM>)
  // (am,12,14,type=<ALPHANUM>)
  // (boy,17,20,type=<ALPHANUM>)
  Analyzer analyzer1 = new StandardAnalyzer();// 单字分词
  String Text1 = "hello !  i  am a boy";
  // (你好,0,2,type=double)
  // (我是,3,5,type=double)
  // (是中,4,6,type=double)
  // (中国,5,7,type=double)
  // (国人,6,8,type=double)
  Analyzer analyzer2 = new CJKAnalyzer();// 二分分词
  String Text2 = "你好 我是中国人";

  // (你,0,1)
  // (好,1,2)
  // (我,3,4)
  // (是,4,5)
  // (中,5,6)
  // (国,6,7)
  // (人,7,8)
  Analyzer analyzer3 = new ChineseAnalyzer();
  String Text3 = "你好 我是中国人";

  // (你好,0,2)
  // (我是,3,5)
  // (中国人,5,8)
  // (这个东西,10,14)
  // (是谁,14,16)
  // (把他,19,21)
  // (丢掉,21,23)
  // (我在,23,25)
  // (上课,25,27)
  // 该分词器要导入jar包 je-analysis-1.5.1.jar
  Analyzer analyzer4 = new MMAnalyzer();// 词库分词
  String Text4 = "你好 我是中国人  这个东西是谁的  把他丢掉我在上课";

  
 }

 public void testAnalyer(Analyzer analyzer, String text) throws IOException {
  Reader reader = new StringReader(text);
  TokenStream tokenStream = analyzer.tokenStream("content", reader);
  Token token = new Token();
  while ((token = tokenStream.next(token)) != null) {
   System.out.println(token);
  }
 }
}

在上面的几个分词器中  对中文和英文分词支持比较好的是MMAnalyzer();  je 分词器    此外还有IKAnalyzer.jar分词器   但是他对lucene2.4.1不兼容   需要较高的版本