XLNet与BERT以及语言模型的对比

XLNet与BERT的对比
XLNet和BERT都是预测一个句子的部分词，但是背后的原因是不同的。BERT使用的是Mask语言模型，因此只能预测部分词(总不能把所有词都Mask了然后预测？)。而XLNet预测部分词是出于性能考虑，而BERT是随机的选择一些词来预测。

除此之外，它们最大的区别其实就是BERT是约等号，也就是条件独立的假设–那些被MASK的词在给定非MASK的词的条件下是独立的。但是我们前面分析过，这个假设并不(总是)成立。

XLNet与语言模型的对比
和语言模型相比，XLNet最大的优势就是通过输入序列的各种排列，同时学习到上下文的信息。