#今日论文推荐# 非自回归生成研究最新综述，近200篇文献揭示挑战和未来方向

#今日论文推荐# 非自回归生成研究最新综述，近200篇文献揭示挑战和未来方向

近年来，由于并行的快速推理能力，非自回归生成在自然语言处理、语音处理等领域展示出了其特有的优势，并日益成为生成模型的研究热点。为了促进非自回归生成模型的发展，微软亚洲研究院与苏州大学的研究员们共同撰写了综述论文“A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond”，回顾了非自回归生成在神经机器翻译以及其他任务中的发展，并对非自回归生成的未来提出了展望。
在如机器翻译、对话生成、语音合成等自然语言、语音等生成任务中，自回归（auto-regressive，AR）生成是一种最常采用的生成方法。简单来说，AR 生成指的是用迭代循环的方式来依次生成一句语音或文本。比如，为了生成一句长度为5的句子，AR 生成首先会生成第一个词语，然后基于第一个词语生成第二个词语，再基于前二个词语生成第三个词语，以此类推。由于每次新的词语生成都依赖于之前生成的词语，因此自回归的生成方式能够保证生成的准确度。
但显然，这样循环的生成方式效率非常低，尤其是对生成长句子来说则更为明显。为了加速生成过程，非自回归（non-autoregressive，NAR）生成被提出，通过一次性并行地生成句子中所有词语的方式，NAR 生成方法极大地提升了生成效率。然而，NAR 生成的准确率并没有得到保证，其性能与自回归生成相比仍有一定差距。因此，如何平衡好 AR 生成与 NAR 生成的优劣，是当下生成任务的研究重点。

论文题目：A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond
详细解读：https://www.aminer.cn/research_report/628462527cb68b460fbb142c?download=false
AMiner链接：https://www.aminer.cn/?f=cs

​