数据平滑技术|自然语言

---

写在前面

$\bullet$ 因为对于N-gram模型来说，由于语料库过小或者词语过于专业可能会出现概率为0的情况。但是这个词语肯定会有出现的概率不可能为0，为了解决这类零概率问题，引入了平滑技术。

$\bullet$ “平滑”处理的基本思想是“劫富济贫”，即提高低概率降低高概率，尽量使概率分布趋于平均。

---

1.加法平滑

1.1加1法

先来介绍一种简单的情况，对于二元语法（2-gram或者 Bigram）来说，我们可以使用一种非常简单的方法，即“加一法”。

公式如下：
$$P(w_{i-1}|w_i)=\frac{P(w_{i-1}{w}_i)+1}{P(w_i)+|V|}$$

其中 $P(w_{i-1}{w}_i)$ 是 $w_{i-1}{w}_i$ 同时出现的概率，$P(w_i)$ 是 $w_i$ 出现的概率，$|V|$ 是所有词的个数，$P(w_{i-1}|w_i)$是在 $w_i$ 的概率下前面出现 $w_{i-1}$ 的概率。

1.2加法平滑方法

在N-gram模型中，常见的做法是在N元对出现的次数上加一个常数 $\delta$，在分母上加上 $\delta |V|$，其余和二元语法完全相同。

公式如下:
$$P(w_{i-n+1}^{i-1}|w_i)=\frac{P(w_{i-n+1}^{i-1}{w}_i)+\delta }{P(w_i)+\delta |V|}$$

其中 $w_{i-n+1}^{i-1}$ 表示 $w_i$ 前面的 $N$ 个词。

---

2.古德-图灵(Good-Turing)估计法

对于N-gram模型中出现了r次的 $w_{i-n+1}^i$，我们把它估计为
$$r^{\ast }=(r+1)\frac{n_{r+1}}{n_r}$$

其中 $n_r$ 表示出现了r次的N元对的个数，所以N-gram中出现了次数为r的N元对 $w_{i-n+1}^i$ 的出现概率为：
$$P_{GT}(w_{i-n+1}^i)=\frac{r^{\ast }}{{\sum }_{r=0}^{\infty }{r}^{\ast }}$$

古德-图灵估计公式中缺乏利用低元模型对高元模型插值的思想，通常不单独使用，而作为其他平滑算法中的一个计算工具。

---

3.回退平滑(Katz回退法)

当某一事件在样本中的概率大于阈值K（通常取0或1）时，运用最大似然估计的减值法来估计其概率。否则使用低阶的，即用 $(n-1)gram$ 的概率来替代 $n-gram$ 的概率，这种替代受归一化因子 $\alpha$ 的作用。

公式如下：

$$P_{katz}(w_{i-1}^i)=\{\begin{array}{cc}{d}_r\frac{c(w_{i-1}^i)}{c(w_{i-1})}& c(w_{i-1}{w}_i)=r>0\\ \alpha (w_{i-1})P_{ML}(w_i)& c(w_{i-1}{w}_i)=r=0\end{array}$$

其中 r 表示出现次数，$P_{ML}(w_i)$ 表示 $w_i$ 的最大似然估计概率，折扣率 $d_r$ 近似等于$\frac{r^{\ast }}{r}$，减值由 Good-Turing 估计方法预测。

---

4.线性插值平滑(Jelinek-Mercer)

利用低阶N-gram模型对高阶N-gram 模型进行线性插值。

公式如下：
$$P_{interp}(w_i|w_{i-n+1}^{i-1})={\lambda }_{w_{i-n+1}^{i-1}}\ast P_{ML}(w_{i-1}|w_{i-n+1}^{i-1})+(1-\lambda )\ast P_{interp}(w_i|w_{i-n+2}^{i-1})$$

N-gram模型可以递归地定义为：由最大似然估计得到的N-gram模型和线性插值的(N-1)-gram模型。