语言模型

 

有限的记忆能力

不考虑太“老”的历史

只记住前k个词w1,…,wk

称为k阶马尔科夫近似

p(W)=∏i=1…dp(wi|wi-k,…,wi-1),d=|W|

 

n-1阶马尔科夫近似称为n元语言模型(LM,Language Model)

p(W)=∏i=1…dp(wi|wi-n+1,…,wi-1),d=|W|

 

n越大，需要估计的参数越多，假设词汇量为20,000

 

           模型              需要的参数数量

 

         0阶(一元Unigram)                           20,000

         1阶(二元bigram)                    20,000*19,999 = 400 million

         2阶(三元trigram)                           20,0002*19,999= 8 trillion

         3阶(四元four-gram)                          20,0003*19,999= 1.6*1017

 

n多大？

理论上讲，越大越好

经验值：3，trigram用的最多

four-gram需要太多的参数，很难估计了

目前一般直接计算词形，不进行语言学处理，如形态还原等

可靠性(Reliability)和可区别性(Discrimination)成反比，需要折中

n越大，区别力越大；n越小，可靠性越高