语言模型

语言模型就是用来计算一个句子的概率，也就是判断一句话是否是人话的概率。

语言模型计算

给定句子（词语序列）： $$S=W_1,W_2,W_3...W_k$$
它的概率为： $$P(S)=P(W_1,W_2,..W_k)=p(W_1)P(W_2|W_1)..p(W_k|W_1,W_2....W_{k-1})$$

该方法的缺陷

• 1 参数空间过大： 条件概率 $$p(w_n|w_1,w_2..w_{n-1})$$ 的可能性太多，无法估算。
• 2 数据稀疏严重：对于非常多词对组合，在语料库中都没有出现，根据最大似然估计概率为0

为了解决这个问题，从而引出马尔科夫假设

马尔科夫假设

假设： 随意一个词出现的概率只与它前面出现的有限个词有关。
基于马儿科夫假设，产生了一元语言模型，和N元语言模型（一般是二元和三元，高于四元的用的非常少 因为训练需要语料庞大，数据稀疏，时间复杂度高，但是精度提高并不多）

• 一元语言模型 unigram： 假设一个词的出现与周围的词无关，词与词之间是独立的。即：
  $$p(s)=p(w_1)p(w_2)....p(w_n)$$

• 二元语言模型 bigram： 假设一个词的出现只与它前面出现的一个词有关。即
  $$p(s)=p(w_1)p(w_2|w_1)p(w_3|w_2)..p(w_n|w_{n-1})$$

• 三元语言模型 trigram： 假设一个词的出现只与它前面出现的两个词有关。即
  $$p(s)=p(w_1)p(w_2|w_1)p(w_3|w_1,w_2)...p(w_n|w_{n-1},w_{n-2})$$

参考： https://zhuanlan.zhihu.com/p/28080127