一.IKAnalyzer包
Ik分词器下载地址:点击打开链接,解压之后将IKAnalyzer包加入到自己的工程.
二.IK分词独立使用
(1)程序目录结构
(2)示例程序:IKAnalyzerTest.java
public class IKAnalyzerTest {
public static void main(String[] args) throws IOException {
String text = "2012年欧洲杯四强赛";
Analyzer analyzer = new IKAnalyzer(true);
TokenStream tokenStream = analyzer.tokenStream("content", new StringReader(text));
CharTermAttribute term= tokenStream.addAttribute(CharTermAttribute.class);
tokenStream.reset();
while(tokenStream.incrementToken()){
System.out.print(term.toString() + "/");
}
tokenStream.end();
tokenStream.close();
}
}
(3
)扩展字典文件:
mine.dic、my.dic和stopword.dic三个文件,可根据自己的需求来添、改词典。
(4)词典配置:IKAnalyzer.cfg.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">com/org/config/mine.dic;<span style="font-family: Arial, Helvetica, sans-serif;">com/org/config/my.dic</span></entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">com/org/config/stopWord.dic</entry>
</properties>
至此IK扩充词典配置完成,需要注意三点:
1)词典文件必须是UTF-8无BOM格式的,否则配置了,词典也不会生效。
2)项目编码是UTF-8,在Properties中设置。
3)IKAnalyzer.cfg.xml和词典路径问题。词典路径可以随意放,但是IkAnalyzer.cfg.xml必须放在src根目录下。补充一句配置词典路径的时候,路径中com前不要加“/”,否则找不到词典。
4)若中途修改了词典,需要重新刷新下项目,修改的词典才能生效。