有限的记忆能力
不考虑太“老”的历史
只记住前k个词w1,…,wk
称为k阶马尔科夫近似
p(W)=∏i=1…dp(wi|wi-k,…,wi-1),d=|W|
n-1阶马尔科夫近似称为n元语言模型(LM,Language Model)
p(W)=∏i=1…dp(wi|wi-n+1,…,wi-1),d=|W|
n越大,需要估计的参数越多,假设词汇量为20,000
模型 需要的参数数量
0阶(一元Unigram) 20,000
1阶(二元bigram) 20,000*19,999 = 400 million
2阶(三元trigram) 20,0002*19,999= 8 trillion
3阶(四元four-gram) 20,0003*19,999= 1.6*1017
n多大?
理论上讲,越大越好
经验值:3,trigram用的最多
four-gram需要太多的参数,很难估计了
目前一般直接计算词形,不进行语言学处理,如形态还原等
可靠性(Reliability)和可区别性(Discrimination)成反比,需要折中
n越大,区别力越大;n越小,可靠性越高