《论文阅读》THE CURIOUS CASE OF NEURAL TEXT DeGENERATION

本文带来Ari Holtzman、Jan Buys、 Li Du、Maxwell Forbes和Yejin Choi共同创作的文章

---

论文试图解决什么问题？

过往的问题

在文本生成任务中的解码部分，使用似然性作为训练目标会为广泛的语言理解任务带来高质量的模型，但基于最大化的解码方法（如集束搜索）会导致退化——输出文本平淡无奇，不连贯，或陷入重复循环。

解决方法

截断概率分布的不可靠尾部，从包含绝大多数概率质量的令牌的动态核中采样。

---

这是否是一个新的问题？

在文本生成策略方面，本文并不算是第一篇来提高文本生成的质量和多样性，但是作者却对当前现有的一些方法指出了其存在的问题：

1. 将在解码过程中使用最大化的方法是不合适的
2. 当前最好的文本生成模型的概率分布存在一些不可靠的尾部需要剪裁

这也是本文的创新点和主要核心点。

过去的语言模型解码包括：

• Maximization-based decoding

  由于其解码得到的文本质量不高，所以提出一些列改进

• Top-k smapling

• sampl