IK Analyzer 和 lucene结合使用

特别注意：版本问题（IK Analyzer的版本中注意各个版本的细微区别，小编就是栽在IK Analyzer2012_U5 和IK Analyzer2012FF上了）

版本匹配：

1、IK Analyzer 2012_U5 支持的是 lucene 3.2-3.6版本

2、IK Analyzer2012 FF（你问啥是FF，其实就是For 4.0，在API和功能上保持不变，只是让其支持了Lucene4.0和Solr4.0，让这部分的用户能用起来。）

下载地址：

GoogleCode :http://code.google.com/p/ik-analyzer/downloads

配置说明：

把 IKAnalyzer中的IKAnalyzer.cfg.xml, ext.dic（如果找不到，可以手动创建一个该文件）, stopword.dic文件放到代码的根目录中。

 

需要在项目中引入：

IKAnalyzer.cfg.xml

IKAnalyzer2012.jar

lucene-core-3.6.0.jar

stopword.dic

使用IK Analyzer实现

1. import java.io.IOException;  
2. import java.io.StringReader;  
3. import org.apache.lucene.analysis.Analyzer;  
4. import org.apache.lucene.analysis.TokenStream;  
5. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;  
6. import org.wltea.analyzer.lucene.IKAnalyzer;  
7.   
8. public class Test2 {  
9.     public static void main(String[] args) throws IOException {  
10.         String text="基于java语言开发的轻量级的中文分词工具包";  
11.         //创建分词对象  
12.         Analyzer anal=new IKAnalyzer(true);       
13.         StringReader reader=new StringReader(text);  
14.         //分词  
15.         TokenStream ts=anal.tokenStream("", reader);  
16.         CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);  
17.         //遍历分词数据  
18.         while(ts.incrementToken()){  
19.             System.out.print(term.toString()+"|");  
20.         }  
21.         reader.close();  
22.         System.out.println();  
23.     }  
24. }

 

使用lucene

 

1. package com.haha.test;  
2.   
3. import java.io.IOException;  
4. import java.io.StringReader;  
5.   
6. import org.wltea.analyzer.core.IKSegmenter;  
7. import org.wltea.analyzer.core.Lexeme;  
8.   
9. public class Test3 {  
10.       
11.     public static void main(String[] args) throws IOException {  
12.         String text="基于java语言开发的轻量级的中文分词工具包";  
13.         StringReader sr=new StringReader(text);  
14.         IKSegmenter ik=new IKSegmenter(sr, true);  
15.         Lexeme lex=null;  
16.         while((lex=ik.next())!=null){  
17.             System.out.print(lex.getLexemeText()+"|");  
18.         }  
19.     }  
20.   
21. }  

 

运行后结果:

基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|

---

扫一扫 关注微信公众号！号主 专注于搜索和推荐系统，尝试使用算法去更好的服务于用户，包括但不局限于机器学习，深度学习，强化学习，自然语言理解，知识图谱，还不定时分享技术，资料，思考等文章！

---

                             【技术服务】，详情点击查看：https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg

---