NLP学习笔记「第二章」2.3 复杂的平滑算法

Knesser-Ney Smoothing

Absolute disconut smoothing

出现次数最多的ngram的出现次数给减掉，放在没有出现的ngram上。适用于高维度的ngram

对于$P(w|u)$的近似可以来源于Back-off（回退）的思想。

back-off（回退）：

平滑后的Bigram: $P_{smoothing}(w|u)$

等于平滑前的概率：${\lambda }_1\ast P(w|u)$

加上Unigram的概率：${\lambda }_2\ast P(w)$

⟹ P s m o o t h i n g ( w ∣ u ) = λ 1 ∗ P ( w ∣ u ) + λ 2 ∗ P ( w ) \Longrightarrow P_{smoothing}(w|u)=\lambda_1*P(w|u)&