论文阅读-Mask-Predict: Parallel Decoding of Conditional Masked Language Models阅读报告-机器翻译

1 Introduction

     大多数机器翻译系统使用顺序译码的策略，即单词是一个一个预测的。本文展示了一个并行译码的模型，该模型在恒定译码迭代次数下得到翻译结果。本文提出的条件掩码语言模型（CMLMS），其中解码器的输入是一个完全被mask的句子，并行的预测所有的单词，并在恒定次数的屏蔽-预测循环之后结束。这种整体策略使模型可以在丰富的双向上下文中反复重新考虑单词的选择，并且它仅在几个周期内就可以产生高质量的翻译。Mask−predict反复掩盖并重新预测模型对当前转换最不