#今日论文推荐#非自回归生成研究最新综述，近200篇文献揭示挑战和未来方向

#今日论文推荐#非自回归生成研究最新综述，近200篇文献揭示挑战和未来方向

近年来，由于并行的快速推理能力，非自回归生成在自然语言处理、语音处理等领域展示出了其特有的优势，并日益成为生成模型的研究热点。
为了促进非自回归生成模型的发展，微软亚洲研究院与苏州大学的研究员们共同撰写了综述论文“A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond”，回顾了非自回归生成在神经机器翻译以及其他任务中的发展，并对非自回归生成的未来提出了展望。在如机器翻译、对话生成、语音合成等自然语言、语音等生成任务中，自回归（auto-regressive，AR）生成是一种最常采用的生成方法。简单来说，AR 生成指的是用迭代循环的方式来依次生成一句语音或文本。比如，为了生成一句长度为5的句子，AR 生成首先会生成第一个词语，然后基于第一个词语生成第二个词语，再基于前二个词语生成第三个词语，以此类推。由于每次新的词语生成都依赖于之前生成的词语，因此自回归的生成方式能够保证生成的准确度。
但显然，这样循环的生成方式效率非常低，尤其是对生成长句子来说则更为明显。为了加速生成过程，非自回归（non-autoregressive，NAR）生成被提出，通过一次性并行地生成句子中所有词语的方式，NAR 生成方法极大地提升了生成效率。然而，NAR 生成的准确率并没有得到保证，其性能与自回归生成相比仍有一定差距。因此，如何平衡好 AR 生成与 NAR 生成的优劣，是当下生成任务的研究重点。

NAR 生成在神经机器翻译 (neural machine translation，NMT) 中首次被提出，此后 NAR 生成便引起了机器学习和自然语言处理领域的广泛关注。如前文所述，虽然 NAR 生成可以显著提升机器翻译的推理生成速度，但与 AR 生成相比，其加速是在牺牲翻译准确性的代价上实现的。近年来，为了弥补 NAR 生成和 AR 生成之间的准确性差距，许多新的模型和算法陆续被提出。
为了促进 NAR 生成模型的发展，微软亚洲研究院与苏州大学的研究员们共同撰写了综述论文“A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond”（点击阅读原文，查看论文详情 ）。
在文章中，研究员们给出了一个系统、全面的综述。首先，研究员们从不同方面比较和讨论了各种非自回归翻译（non-autoregressive translation，NAT）模型，具体来说就是对 NAT 的工作进行了几组不同的分类，包括数据操作（data manipulation）、建模方法（modeling methods）、训练准则（training criteria）、解码算法（decoding ways）以及利用预训练模型（benefit from pre-training）。此外，研究员们还简要总结回顾了 NAR 生成在机器翻译之外的其他应用，例如对话生成、文本摘要、语法纠错、语义解析、语音合成和自动语音识别等等。最后，研究员们讨论了 NAR 未来值得继续探索的潜在方向，包括减少对知识蒸馏（knowledge distillation，KD）的依赖性、动态解码长度预测、NAR 生成的预训练，以及更广泛的应用。图1展示了本篇综述论文的整体结构。
研究员们希望该综述文章可以帮助研究人员更好地了解 NAR 生成的最新进展，启发更先进的 NAR 模型和算法的设计，使行业从业者能够根据其所在领域选择合适的解决方案。

论文题目：A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond
详细解读：https://www.aminer.cn/research_report/629d754f7cb68b460fcb5ca2?download=false
AMiner链接：https://www.aminer.cn/?f=cs