Text Generation
文本生成文献小笔记
写bug的小能手要像计算机一样思考
这个作者很懒,什么都没留下…
展开
-
CTRL
CTRL主要贡献CTRL条件语言模型实验设置条件生成:1.SAMPLING2.CONTROL CODESSource Attribution源属性 主要贡献 提出了一个预训练的可以控制样式、内容和特定任务的条件转换语言模型。控制代码源自与原始文本自然共存的结构,从而保留了无监督学习的优势,同时提供了对文本生成的更明确控制。 因为所有的控制代码都可以追溯到训练数据的一个特定子集,所以CTRL可以用来...原创 2020-02-27 17:47:59 · 268 阅读 · 0 评论 -
The Curious Case of Neural Text Degeneration
The Curious Case of Neural Text Degeneration主要贡献主要内容Open-ended GenerationNon-open-ended GenerationWhy Does Probability Maximization Lead to Degenerate Text?文献中的采样方法 主要贡献 提出了一种核采样方法Nucleus Sampling,解决了...原创 2020-02-27 17:24:50 · 1038 阅读 · 0 评论