最近做一个小项目,需要对中文进行分词。由于项目是Java写的,且IKAnalyzer的效率还是比较可观,便选择了将其作为我的项目中的分词工具包。写这篇文章是为了让有需要用中文分词工具的开发者快速上手,另外记录一下也方便以后查看。
首先下载 IK Analyzer(也可以自行百度下载),我们需要src中的
- IKAnalyzer.cfg.xml
- stopword.dic
IKAnalyzer可结合Lucene使用也可单独使用,不过都需要以下jar包(这里我选择的版本作为参考):
- lucene-core-3.6.0.jar
- IKAnalyzer2012.jar
然后我们需要导包,在eclipse中右键项目Build path->Add External Archives...导包。这里有个问题,从上面链接进入下载的IKAnalyzer2012_FF.jar导入会出现错误,暂时没有深入了解错误原因,解决方法是下载Analyzer2012.jar,可直接百度下载。lucene-core-3.6.0.jar同样下载后导入即可。
Eclipse中目录分级如下:IKAnalyzer.cfg.xml和stopword.dic在src目录下。(有些多余的Library不用管...)
以下为测试代码:
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;
public class Test {
public static void main(String[] args) throws Exception {
String text = "一个个爱人散落在人海,一声声再见不停在倒带。";
//创建分词对象
Analyzer anal=new IKAnalyzer(true);
StringReader reader=new StringReader(text);
//分词
TokenStream ts=anal.tokenStream("", reader);
CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
//遍历分词数据
while(ts.incrementToken()){
System.out.print(term.toString()+"|");
}
reader.close();
anal.close();
}
}
输出:加载扩展停止词典:stopword.dic #加载的配置信息,不用管
一个个|爱人|散|落在|人海|一声声|再见|不|停在|倒带| #分词后的结果
分词效果不是百分百满意,但对于我的项目来说已经足够了。中文博大精深,如果需要更完美的分词效果仍然需要在算法和词典上做出突破。