中文分词-IKAnalyzer初次使用

  最近做一个小项目，需要对中文进行分词。由于项目是Java写的，且IKAnalyzer的效率还是比较可观，便选择了将其作为我的项目中的分词工具包。写这篇文章是为了让有需要用中文分词工具的开发者快速上手，另外记录一下也方便以后查看。

  首先下载 IK Analyzer（也可以自行百度下载），我们需要src中的

• IKAnalyzer.cfg.xml
• stopword.dic

  前者用于工具包的扩展配置，可以在里面配置自己的扩展字典和停止词字典；后者是停止词字典，用于过滤一些无意义的——“的，也，了...”等等出现次数很多但权重很小的字词。

    IKAnalyzer可结合Lucene使用也可单独使用，不过都需要以下jar包（这里我选择的版本作为参考）：

• lucene-core-3.6.0.jar
• IKAnalyzer2012.jar

  然后我们需要导包，在eclipse中右键项目Build path->Add External Archives...导包。这里有个问题，从上面链接进入下载的IKAnalyzer2012_FF.jar导入会出现错误，暂时没有深入了解错误原因，解决方法是下载Analyzer2012.jar，可直接百度下载。lucene-core-3.6.0.jar同样下载后导入即可。

  Eclipse中目录分级如下：IKAnalyzer.cfg.xml和stopword.dic在src目录下。（有些多余的Library不用管...）

以下为测试代码：

import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class Test {
	public static void main(String[] args) throws Exception {
		String text = "一个个爱人散落在人海，一声声再见不停在倒带。";
		//创建分词对象
		Analyzer anal=new IKAnalyzer(true);		
		StringReader reader=new StringReader(text);
		//分词
		TokenStream ts=anal.tokenStream("", reader);
		CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
		//遍历分词数据
		while(ts.incrementToken()){
			System.out.print(term.toString()+"|");
		}
		reader.close();
		anal.close();
	}

}

  输出：加载扩展停止词典：stopword.dic          #加载的配置信息，不用管
  一个个|爱人|散|落在|人海|一声声|再见|不|停在|倒带|        #分词后的结果

  分词效果不是百分百满意，但对于我的项目来说已经足够了。中文博大精深，如果需要更完美的分词效果仍然需要在算法和词典上做出突破。