中文分词方法总结

一、基于词典的方法

原理：又叫机械分词方法、基于字符串匹配的分词方法。它是按照一定的策略将待分析的字符串与一个“充分大的”机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功(识别出一个词)。这是最简单的分词方法，但非常高效和常见。
常用的基于词典的分词方法如下：

1. 正向最大匹配法(由左到右的方向)：

如：“达观数据是一家大数据公司”，使用正向最大匹配法分词的结果为“达观/数据是一/家/大数据/公司”

2. 逆向最大匹配法(由右到左的方向)

如：使用逆向最大匹配法分词的结果为“达观/数据/是/一家/大数据/公司”

3. 最少切分(使每一句中切出的词数最小)

如：最小切分结果为“达观数据/是/一家/大数据公司”。

• MMSEG机械分词算法
  因为同一个句子，在机械分词中经常会出现多种分词的组合，因此需要进行歧义消除，来得到最优的分词结果。
  以很常见的MMSEG机械分词算法为例，MMSEG在搜索引擎Solr中经常使用到，是一种非常可靠高效的分词算法。

方法评价：它的速度很快，都是O(n)的时间复杂度，效果也可以。但缺点是对歧义和新词的处理不是很好，对词典中未出现的词没法进行处理，因此经常需要其他分词方法进行协作。

二、基于图论的方法

1.n-gram切分方法

首先根据词典(可以是从训练语料中抽取出来的词典，也可以是外部词典)对句