中文分词工具

IK Analyzer:

　　　　分词实现：根据内部主词典和扩充、停用等词典，算法，实现分词功能。

　　　　机器自学习：不具备机器自学习。需要自己扩充词典。可根据词频等因素导入新词到扩展词库

　　　　参考链接：https://www.cnblogs.com/walter371/p/5197511.html

FudanNLP

　　　　分词实现： 根据已有的seg.m分词模板或者训练新的分词模板 和外部词库 实现分词功能。　　　　

　　　　机器自学习：根据各种语料，可以生成新的分词模板文件。

　　　　参考链接：https://github.com/FudanNLP/fnlp/wiki/FNLP%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E8%AF%A6%E8%A7%A3

　　　　

LingPipe

　　　　分词实现： 未了解。

　　　　机器自学习：根据语料，生成分词模板。

　　　　参考链接：http://alias-i.com/lingpipe/demos/tutorial/chineseTokens/read-me.html

转载于:https://www.cnblogs.com/java-wjf/p/8098885.html