Good-Turing、Absolute、kneser-ney smooth

Good-Turing smoothing

原文链接

Good-Turing基本思想是：用观察计数较高的N元语法数重新估计概率量的大小，并把它指派给那些具有零计数或者较低计数的N元语法。
公式:
$$c^{\ast }=\frac{(c+1)N_{c+1}}{N_c}$$
其中c为某个N-gram出现的频数,$N_c$为出现次数为c的N-Gram的词组的个数，$c^{\ast }为Good-Turing平滑计数$
例子:
对于a = [A,A,A,B,B,C,D,E] sum(len(a)) = 7
$c_A=3$ $c_C=2$
$c_B=c_D=c_E=1$
$N_1$=4 $N_2$=1 $N_3=1$
thus
$c_A^{\ast }=4\ast \frac{0}{3}=0$
$c_B^{\ast }=3\ast \frac{1}{1}=3$
$c_C^{\ast }=c_D^{\ast }=c_E^{\ast }=2\ast \frac{1}{4}=\frac{1}{2}$
（注意在他们求概率的时候都需要除以N = 7）
然而这样会导致最高频率的结果最后的计数为0，解决方法如下

1. 可以对于较低的计数使用$P_{GT}$,而对于较高的计数直接使用 P M L E = c N P_{MLE} = \frac{c}{N}