由于英文中词与词之间有空格隔开,使得英文分词的工作主要集中在词干提取(形态还原)、大小写转换等。而中文的书写习惯、一词多义等因素,决定了中文分词并不像英文分词那样简单,也使得中文分词成为中文自然语言处理的重要课题之一。
下文的中文分词工具列表是约为14年左右对当时常用中文分词器的一些调研,其中有些目前已经不能使用,仅供读者参考。
MMSEG:
* MMSEG (A Word Identification System for Mandarin Chinese Text Based on Two Variants of the Maximum Matching Algorithm,developed by Chih-Hao-Tsai) http://technology.chtsai.org/mmseg/
* http://search.cpan.org/~dryman/Lingua-ZH-MMSEG-0.4005/lib/Lingua/ZH/MMSEG.pm
* Jcseg (基于java语言开发的一款轻量级中文分词器,使用流行的MMSeg算法实现,并且提供了最新版本的lucene, solr, elasticsearch(New)的分词接口) http://git.oschina.net/lionsoul/jcseg
* MMSEG4J (使用MMSeg算法实现的中文分词器,并实现lucene的analyzer和solr的TokenizerFactory以便在Lucene和Solr中使用) https://code.google.com/p/mmseg4j/
* LibMMSeg (Coreseek.com为Sphinx 全文搜索引擎设计的中文分词软件包,采用MMSEG算法) http://www.coreseek.cn/opensource/mmseg/
* Lingua::ZH::MMSEG (Lingu