分词：浅谈中文分词与jieba源码

一、前言

1、什么是中文分词？

中文文本，从形式上看是由汉字、标点符号等组成的一个字符串。由字组成词，再组成句子、文章等。那么分词，就是按照一定的规则把字符串重新组合成词序列的过程。

2、为什么要分词？

（1）在中文里面，词是最小的能够独立活动的有意义的语言成分

（2）英文中单词以空格作为自然分界，虽然也有短语划分的问题。但中文词没有一个形式上的分界，相对而言难度大了许多

（3）分词作为中文自然语言处理的基础工作，质量的好坏对后面的工作影响很大

3、分词的难点？

（1）歧义消解问题

输入待切分句子：提高人民生活水平

可以切分输出 ：提高/人民/生活/水平

或者切分输出：提/高人/民生/活水/平

可以看到，明显第二个输出为歧义切分。

（2）未登录词识别

未登录词指的是在已有的词典中，或者训练语料里面没有出现过的词，分为实体名词，专有名词及新词。

4、怎么分词？

（1）基于字典、词库匹配的分词

机械分词算法，将待分的字符串与一个充分大的机器词典中的词条进行匹配。

分为正向匹配和逆向匹配；最大长度匹配和最小长度匹配；单纯分词和分词与标注过程相结合的一体化方法。所以常用的有：正向最大匹配，逆向最大匹配，最少切分法。

实际应用中，将机械分词作为初分手段，再利用其他方法提高准确率。

（2）基于词频统计的分词

统计分词，是一种全切分方法。切分出待分语句中所有的词，基于训练语料词表中每个词出现的频率，运用统计模型和决策算法决定最优的切分结果。

（3）基于知识理解的分词

主要基于句法、语法分析，并结合语义分析，通过对上下文内容所提供信息的分析对词进行定界。

这类方法试图让机器具有人类的理解能力，需要使用大量的语言知识和信息，目前还处在试验阶段。

二、jieba分词源码解析

jieba分词，目前是python中文分词方面比较好的工具。支持精确、全模式及搜索引擎模式的分词，具体可以请看jieba文档：https://github.com/fxsjy/jieba

在文档中，jieba列出了工具实现的算法策略：

1）、基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)

2）、采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合

3）、对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法

接下来我们来看看，具体jieba是怎么实现这些算法的。

1、前缀词典

前缀词典，实际上可以认为是一个词频词典（即：