paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.
作者Attilax 艾龙, EMAIL:1466519819@qq.com
来源:attilax的专栏
地址:http://blog.csdn.net/attilax
ver:2012
IKAnalyzer 的默认词库的匹配度可能不好..可以使用扩展词库...
但是,更好的办法是,禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.
需要实现Configuration接口,实现getMainDictionary以及getQuantifierDicionary俩个方法..都返回空的走ok兰..
Configuration cfg = new mycfg();
// 加载词库
cfg.setUseSmart(true); // 设置智能分词
Dictionary.initial(cfg);
Dictionary dictionary = Dictionary.getSingleton();
List<String> = ftc.getListFromFile(wordLibs);
dictionary.addWords(ext); // 自动添加自定义词
// 创建分词对象 isMaxWordLength
Analyzer anal = new IKAnalyzer(true);//true也标示最大词长
StringReader reader = new StringReader(text);
// 分词
TokenStream ts = anal.tokenStream("", reader);
CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
// 遍历分词数据
String rc0 = "";
while (ts.incrementToken()) {
// System.out.print(term.toString() + " ");
rc0 = rc0 + term.toString() + "|";
}
paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.
最新推荐文章于 2023-03-28 01:16:14 发布