中文分词工具整理

由于英文中词与词之间有空格隔开，使得英文分词的工作主要集中在词干提取（形态还原）、大小写转换等。而中文的书写习惯、一词多义等因素，决定了中文分词并不像英文分词那样简单，也使得中文分词成为中文自然语言处理的重要课题之一。
下文的中文分词工具列表是约为14年左右对当时常用中文分词器的一些调研，其中有些目前已经不能使用，仅供读者参考。

MMSEG：

* MMSEG （A Word Identification System for Mandarin Chinese Text Based on Two Variants of the Maximum Matching Algorithm,developed by Chih-Hao-Tsai） http://technology.chtsai.org/mmseg/
* http://search.cpan.org/~dryman/Lingua-ZH-MMSEG-0.4005/lib/Lingua/ZH/MMSEG.pm
* Jcseg （基于java语言开发的一款轻量级中文分词器，使用流行的MMSeg算法实现，并且提供了最新版本的lucene, solr, elasticsearch(New)的分词接口） http://git.oschina.net/lionsoul/jcseg
* MMSEG4J （使用MMSeg算法实现的中文分词器，并实现lucene的analyzer和solr的TokenizerFactory以便在Lucene和Solr中使用） https://code.google.com/p/mmseg4j/
* LibMMSeg （Coreseek.com为Sphinx 全文搜索引擎设计的中文分词软件包，采用MMSEG算法） http://www.coreseek.cn/opensource/mmseg/
* Lingua::ZH::MMSEG （Lingu