"结巴"中文分词

 

1. 结巴中文分词

    结巴分词是国内程序员用开发的一个中文分词模块, 源码已托管在github, https://github.com/fxsjy/jieba

2. 结巴分词算法:

 

    a. 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)
    b. 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合

 

    c. 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法.

3. 结巴分词理解 （转载自:http://tieba.baidu.com/p/3145509319）

     第一条：基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)
     结巴分词自带了一个叫做dict.txt的词典, 里面有2万多条词, 包含了词条出现的次数(这个次数是于作者自己基于人民日报语料等资源训练得出来的)和词性. 这个第一条的trie树结构的词图扫描, 说的就是把这2万多条词语, 放到一个trie树中, 而trie树是有名的前缀树, 也就是说一个词语的前面几个字一样, 就表示他们具有相同的前缀, 就可以使用trie树来存储, 具有查找速度快的优势.<