超简单的XLNet论文解读

近期在做中文文本分类，看了好多解读XLNet论文的文章，都不是很清楚，因此我自己看了一遍原版文论，现记录如下：

1、XLNet：Generalized Autoregressive Pretraining for Language Understanding

这几天仔细研究了一下这篇论文，从比较之前的LM（语言模型）到XLNet的初衷，最后到其网络架构，包括上次所说的三点创新：（1）采用permutation language model为AR模型引入双向的文本的信息；（2）采用transformer-XL中相对位置编码和递归循环机制增加模型对长文本的处理能力；（3）受GPT-2的影响，使用更大的训练数据集，具体细节如下：

（1）AR和AE语言模型

​ 首先，作者将之前的预训练语言模型模型分成了AR和AE两大类，AR即autoregressive，也就是论文题目中的自回归，AE即autoencoding，以BERT模型为代表的自编码语言模型。其中，AR语言模型旨在寻找一个最大条件概率，形如：

意思是在前t个字符出现的情况下出现xt的概率，容易发现，在语言生成类的任务中AR模型有天然的优势，但只使用上下文中单侧的信息来预测新的字符，这肯定会丢失很多信息，而很多下游的语言理解任务经常需要上下文两侧的信息。虽然也有