NLP中常用的分词器

       众所周知，NLP即自然语言处理，那么在NLP中常用的分词器都有哪些呢？本文主要介绍NLP中常用的分词器。

一、Mmseg4j：基于正向最大匹配（https://code.google.com/p/mmseg4j/）

      mmseg4j用Chih-HaoTsai的MMSeg算法实现的中文分词器，并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。MMSeg算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex加了四个规则过虑。官方说：词语的正确识别率达到了98.41%。mmseg4j已经实现了这两种分词算法。

二、结巴分词：（https://pypi.python.org/pypi/jieba/）

       结巴分词支持三种分词模式：1.精确模式，试图将句子最精确的切开，适合文本分析；2.全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解释歧义；3.搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

三、Ansj：（https://github.com/NLPchina/ansj_seg）

       基于n-Gram+CRF+HMM的中文分词，支持ES比较好。

四、IKAnalyzer：（https://code.google.com/archive/p/ik-analyzer/）

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。正向迭代最细粒度切分算法，支持ES比较好。