The Curious Case of Neural Text Degeneration

主要贡献

提出了一种核采样方法Nucleus Sampling，解决了现有解码方式的局限性。关键的直觉是，绝大多数的概率质量集中在分布的核心部分，即词汇表的一个小子集，它跨越了从一个到几百个候选词之间的任何地方。我们不依赖于固定的顶部k，而是建议从概率质量的顶部p部分进行抽样，动态地扩展和收缩候选池。核采样有效地减少了从不可靠的尾分布(机器文本中许多笨拙短语的来源)提取单词的风险，同时允许比似然最大化译码方法更多样化。

主要内容

Open-ended Generation

Open-ended Generation的任务是生成上下文连贯的文本。包括条件性的故事生成与上下文连续文本生成。
Context:m个token组成的句子{x1 . . . xm}
Goal：生成接下来连续的n个连续token去获得完整的句子{x1 . . . xm+n}

Non-open-ended Generation

自由度比开放式的要小，作者提出的解决方法能够解决这种生成面临的挑战，就像开放式情况一样。开放生成和非开放生成并不是严格的两分法，因为有些任务可能介于两者之间，这取决于输出生成中预期的自由度或输入与输出之间的语义一致性程度。例如，书籍级别的摘要更接近于开放式的情况，而句子压缩更接近于非开放式的情况。