XLNet和Bert语言模型的对比

1.XLNet和Bert的对比分析
1.1 自回归语言模型（Autoregressive LM）
就是从左向右依次计算某个词出现的概率或者从右向左计算某个词出现的概率，典型代表就是GPT
1.2 自编码语言模型(Autoencoder LM)
把句子中的某个词用【MASK】替换掉，然后根据该单词的上下文来预测该单词，典型代表就是BERT
1.3 两种模型的优缺点
自回归语言模型没有能自然的同时获取单词的上下文信息，而自编码语言模型能很自然的把上下文信息融合到模型中，Bert中的每个Transformer都能看到整句话的所有单词，等价于双向语言模型，但自编码语言模型也有其缺点，就是在Fine-tune阶段，模型是看不到【MASK】标记的，因此会带来一定的误差。XLNet将上述二者的优缺点进行一个完美的结合，在自回归语言模型中自然地引入上下文信息，并且解决自编码语言模型两阶段保持一致的问题。
2. XLNet的改进点
XLNet的思路是采用自回归语言模型，根据上文来预测下一个单词，但是在上文中添加了下文信息，这样就解决了【MASK】带来的两阶段不一致问题和无法同时引入上下文信息的问题。改进后命名(Permutation Language Model, PLM)，XLNet是通过排列组合的策略的思路实现的。