语言模型在信息检索、机器翻译、语音识别中承担着重要的任务。一个语言模型通常构建为字符串s的概率分布 p ( s ) p(s) p(s),这里 p ( s ) p(s) p(s)试图反映的是字符串 s s s作为一个句子出现的概率。
句子的概率P(S)及n-gram语法模型
若一个字符串句子由 n n n个词构成:
s = w 1 w 2 . . . w n s=w_1w_2...w_n s=w1w2...wn
那么期概率的计算公式可以表示为:
P ( S ) = P ( w 1 , w 2 , . . . , w n ) P(S)=P(w_1,w_2,...,w_n) P(S)=P(w1,w2,...,wn)
由全概率公式 P ( A B ) = P ( B ∣ A ) P ( A ) P(AB)=P(B|A)P(A) P(AB)=P(B∣A)P(A)可以推广得到:
P ( w 1 , w 2 , . . . , w n ) = P ( w n ∣ w 1 , w 2 , . . . , w n − 1 ) P ( w 1 , w 2 , . . . , w n − 1 ) = P ( w n ∣ w 1 , w 2 , . . . , w n − 1 ) P ( w n − 1 ∣ w 1 , w 2 , . . . , w n − 2 ) P ( w 1 , w 2 , . . . , w n − 2 ) = . . . = ∏ i = 1 n P ( w i ∣ w 1 , w 2 , . . . , w l − 1 ) \begin{aligned} P(w_1,w_2,...,w_n) =& P(w_n|w_1,w_2,...,w_{n-1})P(w_1,w_2,...,w_{n-1}) \\ =& P(w_n|w_1,w_2,...,w_{n-1})P(w_{n-1}|w_1,w_2,...,w_{n-2})P(w_1,w_2,...,w_{n-2}) \\ =& ...\\ =& \prod_{i=1}^nP(w_i|w_1,w_2,...,w_{l-1}) \end{aligned} P(w1,w2,...,wn)====P(wn∣w1,w2,...,wn−1)P(w1,w