1 简介
Prophet:先知。ProphetNet,先知网络,名字起的牛。
本文根据2020年《ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training》翻译总结。
ProphetNet:将在XLNet中提到的two-stream 自注意力扩展到n-strean 自注意力。
ProphetNet可以同时预测未来的n-gram,而原始的transformer只预测未来的一个单词。
2 ProphetNet
ProphetNet基于transformer encoder-decoder结构。相比最初的transformer Seq2Seq model,ProphetNet进行了如下3个修改:
1)引入了自监督目标:n-gram 预测;
2)引入了n-gram自注意力机制;
3) mask based autoencoder denoising task for Seq2Seq pre-training。
2.1 Sequence-to-Sequence Learning
2.2 未来N-gram的预测
如上图,encoder不变,还是原始transformer的encoder。
ProphetNet Decoder变成同时预测未来n个token。
n-gram 预测目标函数如下,包括两部分,第一部分language modeling loss,同原来transformer的;第二部分是n-1 未来token预测损失函数,使模型预测未来的tokens:
2.3 N-Stream 自注意力
如下图,h stream是主要的stream,g stream是未来第1个token的预测stream,s stream是未来第2个token的预测stream.
3 实验结果
不同n-gram比较,如下表,可以看到3gram比2gram好。: