IKanalyzer、ansj_seg、jcseg三种中文分词器的实战较量

摘要：

选手：IKanalyzer、ansj_seg、jcseg

硬件：i5-3470 3.2GHz 8GB win7 x64

比赛项目：1、搜索；2、自然语言分析

 

选手介绍：

　　1，IKanalyzer

　　IKanalyzer采用的是“正向迭代最细粒度切分算法”，是比较常见而且很容易上手的分词器了。一般新手上路学习lucene或者solr都会用这个。优点是开源（其实java分词器多是开源的，毕竟算法都是业内熟知的）、轻量、目前来看没有太大的bug，源码简单易懂，做二次开发也很简单，即使遇到solr/Lucene版本更新，只需要自己稍微修改下实现类就可以通用。缺点是过于简单白痴，只是简单的根据配置好的词库进行分词，没有任何智能可言，连“和服”、“和服务器”这种老梗都破不了。我手头的IKanalyzer是被我进行二次开发后的版本，修改了一些问题，词库读取方式改成树形。IKanalyzer可以作为非智能分词器的代表出场。

    2，ansj_seg

    ansj_seg分词器用的人可能不太多吧，不过个人觉得是开源分词器里最强悍功能最丰富的。作者孙建，我曾在微博上与他有过简单的交流，讨论过ansj_seg分词器的一些小的bug和不足。ansj_seg基于中科院的 ictclas 中文分词算法，智能、高效。虽然现在已经有ictclas 的for java版本，但是 ansj_seg从实现到使用来说要强大的多，而且作者自产自销自用，很多细节和小功能都有考虑，在索引和自然语言分析方面都有很优秀的表现。我手头的ansj_seg是自己修复了一些bug后的版本。ansj_seg可以作为ictclas 算法实现的分词器的代表出场。

    3，jcseg