语言模型笔记1-简单介绍

原文链接：http://chenhao.space/post/3423f471.html

语言模型是用来计算一个句子的概率的模型，通俗的说，语言模型是用来判断一句话从语法上是否通顺。

如下：

通过概率计算得出正确的句子顺序：

---

N-gram(n元语言模型)

Unigram(一元语言模型)

当n=1时，称为Unigram，一元语言模型假设词语之间是相互独立的。

缺点：不考虑单词之间的顺序。

Bigram(二元语言模型)

n=2时，称为Bigram。当前词的出现概率与前一个词有关，考虑了两个单词之间的顺序。

Trigram(三元语言模型)

n=3时，称为Trigram。当前词的出现概率与前两个词有关。

---

估计语言模型的概率

Unigram模型的概率计算

Bigram模型的概率计算

Trigram模型的概率计算

---

评估语言模型指标

Perplexity

计算过程：

Perplexity的值越小，说明模型越好。

还有其他的一些评估语言模型的方法，根据不同的应用场景，使用不同的评估方法。

---

Smoothing(平滑操作)

Add-one Smoothing

Add-one Smoothing也称为拉普拉斯平滑(Laplace Smoothing)。

分子上加1是为了保证分子不为0，分母上加V(词典的大小)是为了保证概率之和为1。

Add-K Smoothing

Add-K Smoothing可以看作Add-one Smoothing的特例，当K=1时，Add-K Smoothing也就等于Add-one Smoothing。

K如何选择呢？

Interpolation

核心思想：在计算Trigram概率时同时考虑Unigram、Bigram、Trigram出现的频次。

Good-Turning Smoothing

缺点: 当计算频次为n的概率需要依赖n+1频次的概率，如果n+1次的概率为0怎么办？

解决: 利用机器学习方法拟合曲线去估计n+1次的概率。

---

利用语言模型生成句子

Unigram情况下

利用Unigram模型生成的句子没有逻辑性。

Bigram情况下