python 分词工具对比_五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP

最近玩公众号会话停不下来： 玩转腾讯词向量：Game of Words(词语的加减游戏) ，准备把NLP相关的模块搬到线上，准确的说，搬到AINLP公众号后台对话，所以，趁着劳动节假期，给AINLP公众号后台聊天机器人添加了一项新技能：中文分词线上PK，例如在AINLP公众号后台对话输入：中文分词 我爱自然语言处理，就可以得到五款分词工具的分词结果：

现在的开源中文分词工具或者模块已经很丰富了，并且很多都有一些在封闭测试集上的效果对比数据，不过这仅仅只能展现这些分词工具在这个封闭测试集上的效果，并不能全面说明问题，个人觉得，选择一个适合自己业务的分词器可能更重要，有的时候，还需要加一些私人定制的词库。

这次首先选了5款中文分词工具，严格的来说，它们不完全是纯粹的中文分词工具，例如SnowNLP, Thulac, HanLP都是很全面的中文自然语言处理工具，这次，先试水它们的中文分词模块。安装这些模块其实很简单，只要按官方文档的方法安装即可，以下做个简单介绍，