MASS理解

于是MASS的作者就借鉴了Masked LM的思想，只用一句话就让encoder和decoder同时训练。具体做法是mask掉句子的一部分x，再用decoder去预测x，如下图：
注意，在经典的seq2seq结构中，decoder的输入都是完整的，而这里只输入应该被预测的token，作者的解释是这样可以让decoder依赖于encoder的编码，让两者更好地共同训练。

把BERT和GPT统一了起来：


图a): 可能会有同学觉得decoder不是双向的，没法把encoder和decoder看成BERT，但其实只把encoder看成BERT就可以，decoder看作classifier层。
图b): 单向LM(GPT)，从左到右进行预测，encoder没有给decoder任何信息。

就是用一句话预测，这种无监督的方式构造训练数据，去训练seq2seq的结构