Good-turning估计

吴军数学之美又看了一遍，写的有深有浅，比如这次，有不同的感觉。

---

统计预言模型的数据稀疏问题解决方案–古德图灵估计
接上
这里引入Good-turning估计
Good-turning的主要思想是从概率的总量中分配少量的比例给零概率项。
假定在语料库中出现$r$次数的词有$N_r$个，则有

$$N = \sum_{r=1}^{\infty}rN_r$$
当 $r$较小时，我们使用$d_r$代替 $r$,这里$d_r<r$, $d_r$的值可由下式表示
$$d_r = \frac{(r+1)N_r+1}{N_r}$$
这样可以保证
$$N = \sum_rd_rN_r$$
这里我们考虑一个经验，一般来说 $r$越大，词的数量$N_r$就越小,即验证了上述 $d_r<r$且 $d_0>0$.这样的代替可以让数据稀疏度有效的降低，所有词的概率估计会看起来很平滑。