Kneser-Ney平滑（Kneser-Ney smoothing）简介

Chat-GPT 3.5给的答案，先记在这里，后面有机会深入了解再补充。

Kneser-Ney平滑（Kneser-Ney smoothing）是一种用于解决语言模型中零概率问题的平滑技术。它是由Kneser和Ney在1995年提出的，被广泛应用于n-gram语言模型中。

在语言模型中，n-gram是指由n个连续的词组成的序列。n-gram语言模型的目标是计算给定一个上下文的情况下，下一个词的概率。然而，当模型遇到未在训练数据中出现的n-gram时，概率会变为零，这会导致模型在生成或评估文本时出现问题。

Kneser-Ney平滑通过引入一个调整因子来解决零概率问题。它的基本思想是利用n-gram的上下文信息来估计未见n-gram的概率。具体来说，Kneser-Ney平滑使用两个概率值：补充概率（continuation probability）和回退概率（discounted probability）。

• 补充概率：补充概率表示给定上下文中下一个词的概率。它通过计算给定上下文的n-gram数量和包含该n-gram的不同上下文数量之比来估计。补充概率提供了一个对未见n-gram的概率估计。
• 回退概率：回退概率表示在给定上下文中下一个词的概率。它通过计算给定上下文的n-1 gram数量和包含该n-1
  gram的不同上下文数量之比来估计。回退概率提供了一个对已见n-gram的概率估计。

Kneser-Ney平滑的计算过程如下：
（1）统计训练数据中每个n-gram的出现次数和不同上下文的数量。
计算补充概率和回退概率。
（2）在计算概率时，使用补充概率和回退概率来调整未见和已见n-gram的概率。
（3）Kneser-Ney平滑通过利用上下文信息来提高语言模型的性能，尤其是在处理未见n-gram时。它在n-gram语言模型中被广泛使用，并在自然语言处理任务中取得了良好的效果。