轻松入门自然语言处理系列 专题8 源码解读──基于HMM的结巴分词

前言

本文主要介绍了基于HMM的jieba分词，主要包含分词总览、源代码分析。

一、jiaba分词总览

中文不像英文单词之间以空格分割，而是以字为分界的，因此需要专门进行分词，分词也是一项基本的工作，同时分词的准确度直接影响到后续中文NLP任务的效果。中文分词存在着一些难点，包括歧义切分（多义组合、词之间的重叠）、新词，这些都会影响到分词的精度。最常用的中文分词工具是结巴分词，可参考https://github.com/fxsjy/jieba。

jieba分词的分词策略：

1. 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG）；

2. 采用了动态规划查找最大概率路径，找出基于词频的最大切分组合；

3. 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。

jieba分词也采用了HMM模型，因此包含了3个参数（λ=(A, B, π)），在源码的finalseg/prob_*.py中来计算初始化概率、状态转移概率和发射概率。

其训练数据来源于：

• 网上能下载到的1998人民日报的切分语料

• msr的切分语料

  </