IKAnalyzer分词器

package cn.itcast.lucene.analyzer;

import java.io.IOException;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.LockObtainFailedException;
import org.apache.lucene.store.RAMDirectory; //引用IKAnalyzer3.0的类
import org.wltea.analyzer.lucene.IKAnalyzer;
import org.wltea.analyzer.lucene.IKQueryParser;
import org.wltea.analyzer.lucene.IKSimilarity;

/**
 * @author linly
 * */
public class IKAnalyzerDemo {
 @SuppressWarnings("deprecation")
 public static void main(String[] args) {
  // Lucene Document的域名
  String fieldName = "text";
  // 检索内容
  String text = "IK Analyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切分算法。";
  // 实例化IKAnalyzer分词器
  Analyzer analyzer = new IKAnalyzer();
  Directory directory = null;
  IndexWriter iwriter = null;
  IndexSearcher isearcher = null;
  try {
   // 建立内存索引对象
   directory = new RAMDirectory();
   iwriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.LIMITED);
   Document doc = new Document();
   doc.add(new Field(fieldName, text, Field.Store.YES, Field.Index.ANALYZED));
   iwriter.addDocument(doc);
   iwriter.close();
   // 实例化搜索器
   isearcher = new IndexSearcher(directory);
   // 在索引器中使用IKSimilarity相似度评估器
   isearcher.setSimilarity(new IKSimilarity());
   String keyword = "中文分词工具包";
   // 使用IKQueryParser查询分析器构造Query对象
   Query query = IKQueryParser.parse(fieldName, keyword);
   // 搜索相似度最高的5条记录
   TopDocs topDocs = isearcher.search(query, 5);
   System.out.println("命中：" + topDocs.totalHits);
   // 输出结果
   ScoreDoc[] scoreDocs = topDocs.scoreDocs;
   for (int i = 0; i < topDocs.totalHits; i++) {
    Document targetDoc = isearcher.doc(scoreDocs[i].doc);
    System.out.println("内容：" + targetDoc.toString());
   }
  } catch (CorruptIndexException e) {
   e.printStackTrace();
  } catch (LockObtainFailedException e) {
   e.printStackTrace();
  } catch (IOException e) {
   e.printStackTrace();
  } finally {
   if (isearcher != null) {
    try {
     isearcher.close();
    } catch (IOException e) {
     e.printStackTrace();
     // 当前最新版本为IKAnalyzer2012
     // IK Analyzer 2012特性:
     // 1.采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；
     // 2.在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位 普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。
     // 3.2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。
     // 4.采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符
     // 5.优化的词典存储，更小的内存占用。支持用户词典扩展定义。特别的，在2012版本，词典支持中文，英文，数字混合词语。
    }
   }
   if (directory != null) {
    try {
     directory.close();
    } catch (IOException e) {
     e.printStackTrace();
    }
   }
  }
 }
}

 

 

 

该分词器使用的lucene的版本是3.5.0  版本太低了不兼容