XLNet模型详解

这两天在网上找了很多博客资料看，有些博文写的很好，但总感觉还是漏了一点东西，让我一直有些地方搞不懂，最终还是看了原论文（偷懒不行啊。。。）。这里就记录一下我的理解，肯定还是有不全的地方，仅供参考。
先附上原论文：https://paperswithcode.com/method/xlnet
pytorch版本代码：https://github.com/huggingface/transformers/blob/master/src/transformers/models/xlnet

前言

XLNet提出的目的就是为了整合传统语言模型和BERT的优点，同时避免掉它们的缺点：
1.BERT是降噪自编码语言模型（denoising auto-encoding，DAE），其优点就是可以兼顾上下文信息，缺点有两点：（a）预训练的时候会随机mask掉15%的tokens，但是在下游任务finetune的时候不会出现[MASK]这个符号，这就导致了pretrain和finetune的不一致；（b）因为随机mask掉15%的tokens，因此在预测其中一个被mask的token的时候，也是看不到其他被mask的tokens，这也就是BERT的一个假设：被mask的tokens之间相互独立。但是这在实际中不可能满足这个假设。
2.传统语言模型是自回归模型（AR），优点就是没有BERT的这些问题，但是其缺点也很明显：无法兼顾上下文信息。

作者提出了XLNet，还是AR模型，但是可以在兼顾上下文信息的同时避免掉BERT的这些缺点。XLNet核心思想主要包括一下几点：
1.排列语言模型（Permutation Language Modeling，PLM），通过对序列中tokens的所有排列组合进行建模来兼顾上下文信息。比如，一个长度为T的序列，共有T!种排列组合。
2.双流自注意力（Two-Stream Self-Attention），排列语言模型想法很好，但是直接使用transformer的self-attention会导致一个问题（不知道要预测的是哪个token，这个后面会详细讲），所以提出了Two-St