【论文速读】LM的文本生成方法，Top-p，温度，《The Curious Case of Neural Text Degeneration》

论文链接：https://arxiv.org/abs/1904.09751
https://ar5iv.labs.arxiv.org/html/1904.09751

这篇文章，描述的是语言模型的文本生成的核采样的方法，就是现在熟知的top-p
大概看看，还有几个地方比较有趣，值得记录一下。

摘要

尽管神经语言建模取得了相当大的进步，但从语言模型生成文本（例如生成故事）的最佳解码策略是什么仍然是一个悬而未决的问题。反直觉的经验观察是，尽管使用似然性作为训练目标会为广泛的语言理解任务带来高质量的模型，但基于最大化的解码方法（如beam搜索）会导致退化——输出平淡、不连贯或陷入重复循环的文本。

为了解决这一问题，我们提出了Nucleus采样（Nucleus Sampling），这是一种简单但有效的方法，可以从神经语言模型中提取出比以前的解码策略高得多的质量文本。我们的方法通过截断概率分布的不可靠尾部，从包含绝大多数概率质量的Tokens的动态核中采样，避免了文本退化。

为了正确检查当前基于最大化的随机解码方法，我们将每种方法的代数与人类文本沿几个轴（如似然性、多样性和重复性）的分布进行了比较。我们的结果表明，（1）最大化是开放式文本生成的一个不合适的解码目标，（2）当前最佳语言模型的概率分布有一个不可靠的尾部，在生成过程中需要截断；（3）Nucleus Sampling是当前生成长格式文本的最佳解码策略，该文本既有高质量的（通过人类评估来衡量），也与人类书写的文本一样多样化。