自然语言处理3-N-gram模型

设w_i是文本中的任意一个词，如果已知它在该文本中的前1个词w_i-1，便可以用条件概率P(w_i|w_i-1)来预测w_i出现的概率。这就是统计语言模型的概念。一般来说，如果用变量W代表文本中一个任意的词序列，它由顺序排列的n个词组成，即W=w₁w₂...w_n，则统计语言模型就是该词序列W在文本中出现的概率P(W)。利用概率的乘积公式，P(W)可展开为：

                   P(W) = P(w₁)P(w₂|w₁)P(w₃|w₁w₂)...P(w_n|w₁ w₂...w_n-1)

不难看出，为了预测词w_n的出现概率，必须知道它前面所有词的出现概率。从计算上来看，这种方法太复杂了。如果任意一个词w_i的出现概率只同它前面的1个词有关(马尔科夫假设)，问题就可以得到极大的简化。这时的语言模型叫做二元模型 (bi-gram):

                   P(W)≈P(w₁)P(w₂|w₁)P(w₃|w₂)…P(w_n|w_n-1)

如果任意一个词w_i的出现概率只同它前面的2个词有关，这时的语言模型叫做三元模型 (tri-gram)：

P(W)≈P(w₁)P(w₂|w₁) P(w₃