本文笔记探讨了在文本生成任务中，自回归与非自回归模型之间的训练目标（log-likelihood）与评估指标（Bleu）的相关性。在相同类型模型中两者相关性强，不同类型则不明显。此外，自我训练在提高生成任务性能方面发挥作用，论文通过噪声和解码策略实验揭示其原因。最后，针对似然性训练导致的文本退化问题，提出了Nucleus Sampling和unlikelihood training等解冑策略。
On the Discrepancy between Density Estimation and Sequence Generation
问题：探究训练目标（log-likelihood）和实际文本生成评价指标（Bleu）之间的相关性关系。
背景知识总结：
Autoregressive Model：逐词翻译—>exposure bias
Non-autoregressive Model：一次翻译整个句子---->引入隐变量
论文方法：
基于多个数据集实现以下模型：
（1）自回归：Transformer（S,B,L)
(2)非自回归：隐变量先验为diagonal gaussian和Normalizing Flow
实验结果及结论与思考：
（1）同一类型的模型进行比较时， ll的训练目标和bleu的评价指标相关性很强。（显然的？）
（2）不同类型的模型之间进行比较时，没有什么相关性。（在非自回归效果一般差于自回归的情况下，关于这点结论不太清楚想要说明什么，邹博的看法是要看ll是不是因地制宜？但这个结论可以看出来非自回归模型在受除训练目标的其他因素影响而效果比自回归模型差ÿ
最低0.47元/天 解锁文章
529
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
