对语言模型的想法

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列 w1,w2,…,wT ，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

P(w1,w2,…,wT).

主要是 n 元语法（ n -gram)。
n元语法的摘要
n 元语法通过马尔可夫假设简化模型，马尔科夫假设是指一个词的出现只与前面n个词相关，即n阶马尔可夫链（Markov chain of order n），如果n=1，那么有P(w3∣w1,w2)=P(w3∣w2)。基于n−1阶马尔可夫链，我们可以将语言模型改写为

P(w1,w2,…,wT)=∏t=1TP(wt∣wt−(n−1),…,wt−1).
以上也叫n元语法（n-grams），它是基于n−1阶马尔可夫链的概率语言模型。

n元语法的缺陷
1参数空间过大，利用率不高
2数据过于稀疏