前言
本文主要介绍了基于HMM的jieba分词,主要包含分词总览、源代码分析。
一、jiaba分词总览
中文不像英文单词之间以空格分割,而是以字为分界的,因此需要专门进行分词,分词也是一项基本的工作,同时分词的准确度直接影响到后续中文NLP任务的效果。中文分词存在着一些难点,包括歧义切分(多义组合、词之间的重叠)、新词,这些都会影响到分词的精度。最常用的中文分词工具是结巴分词,可参考https://github.com/fxsjy/jieba。
jieba分词的分词策略:
-
基于前缀词典实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG);
-
采用了动态规划查找最大概率路径,找出基于词频的最大切分组合;
-
对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法。
jieba分词也采用了H