NLP中常用的分词器

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/gdkyxy2013/article/details/79979112

       众所周知,NLP即自然语言处理,那么在NLP中常用的分词器都有哪些呢?本文主要介绍NLP中常用的分词器。


一、Mmseg4j:基于正向最大匹配(https://code.google.com/p/mmseg4j/)

      mmseg4j用Chih-HaoTsai的MMSeg算法实现的中文分词器,并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。MMSeg算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex加了四个规则过虑。官方说:词语的正确识别率达到了98.41%。mmseg4j已经实现了这两种分词算法。


二、结巴分词:(https://pypi.python.org/pypi/jieba/)

       结巴分词支持三种分词模式:1.精确模式,试图将句子最精确的切开,适合文本分析;2.全模式,把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解释歧义;3.搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。


三、Ansj:(https://github.com/NLPchina/ansj_seg)

       基于n-Gram+CRF+HMM的中文分词,支持ES比较好。


四、IKAnalyzer:(https://code.google.com/archive/p/ik-analyzer/)

IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。正向迭代最细粒度切分算法,支持ES比较好。

阅读更多

没有更多推荐了,返回首页