1.ansj的功能介绍以及特点:
ansj是一个基于n-Gram+CRF+HMM的中文分词的java实现.
ansj分词速度达到每秒钟大约200万字左右(mac air下测试),准确率能达到96%以上
Ansj目前实现了.中文分词.词性识别. 中文姓名识别 . 用户自定义词典,关键字提取,自动摘要,关键字标记等功能
可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目.
2.动态添加:只是将自定义词,临时添加到内存中
3.分词方式的比较
1.ToAnalysis精准分词
它在易用性,稳定性,准确性,以及分词效率上都取得了一个不错的平衡,如果你初次尝试ansj,如果你想开箱即用,那么就用这个分词方式是不错的。
2.nlpAnalysis 带有新词发现功能的分词
它可以识别未登录词,但是它也有它的缺点,速度比较慢,稳定性差。这里的慢只是说的是和其他方式比较,应该是40w字每秒的速度吧.
4.分词文件的加载顺序
Toanalysis中优先顺序是 ambiguity.dic,核心词典,userLibrary.dic
5.配置自定义词库
详情文档见:百度网盘