“非自回归”也不差：基于MLM的阅读理解问答

作者丨苏剑林

单位丨追一科技

研究方向丨NLP，神经网络

个人主页丨kexue.fm

前段时间写了万能的Seq2Seq：基于Seq2Seq的阅读理解问答，探索了以最通用的 Seq2Seq 的方式来做阅读理解式问答，并且取得相当不错的成绩（单模型 0.77，超过参加比赛时精调的最佳模型）。这篇文章我们继续做这个任务，不过换一个思路，直接基于 MLM 模型来做，最终成绩基本一致，但能提高预测速度。

两种生成

广义来讲，MLM 的生成方式也算是 seq2seq 模型，只不过它属于“非自回归”生成，而我们通常说的（狭义的）seq2seq，则是指自回归生成。本节对这两个概念做简单的介绍。 

自回归生成