《数学之美》—分词

1、为什么要分词？

2、怎样去分词？

摘要与理解：

1. S(句子) = w1w2w3...wn(词)

        语言模型是建立在词的基础上的，因为词是表达语义的最小单位。

     2.分词的输入：一个句子，例：中国航天官员应邀到美国与太空总署官员开会

        分词的输出：用分界符分割的一串词，例：中国/航天/官员/应邀/到/美国/与/太空/总署/官员/开会

     3.分词的发展

        (1)北航梁南元教授-查字典  

            复合词 单字词 最长词匹配

        (2)哈工大王晓龙博士-最少词数的分词理论

            分词的二义性 并非所有最长词匹配都正确

        (3)清华郭进博士-统计语言模型解决了二义性

            一个句子S的不同分词法 -  A1,A2,A3,...,Ak

                                                     B1,B2,B3,...,Bm

                                                     C1,C2,C3,...,Cn

          P(A1,A2,A3,...,Ak) > P(B1,B2,B3,...,Bm)   &&  P(A1,A2,A3,...,Ak) > P(C1,C2,C3,...,Cn)

          则  A1,A2,A3,...,Ak是最好分词 —— 计算量大

          动态规划 - 维特比算法

 

        

 

 

 

      4.词的颗粒度

 

转载于:https://my.oschina.net/xiaomu1994/blog/1498530