1. 结巴中文分词
结巴分词是国内程序员用开发的一个中文分词模块, 源码已托管在github, https://github.com/fxsjy/jieba
2. 结巴分词算法:
a. 基于Trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)
b. 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
c. 对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法.
3. 结巴分词理解 (转载自:http://tieba.baidu.com/p/3145509319)
第一条:基于Trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)
结巴分词自带了一个叫做dict.txt的词典, 里面有2万多条词, 包含了词条出现的次数(这个次数是于作者自己基于人民日报语料等资源训练得出来的)和词性. 这个第一条的trie树结构的词图扫描, 说的就是把这2万多条词语, 放到一个trie树中, 而trie树是有名的前缀树, 也就是说一个词语的前面几个字一样, 就表示他们具有相同的前缀, 就可以使用trie树来存储, 具有查找速度快的优势.<