XLNet论文解析

论文解析：XLNet: Generalized Autoregressive Pretraining for Language Understanding for Language Understanding

• 论文地址: https://arxiv.org/pdf/1906.08237.pdf
• 项目github仓库: https://github.com/zihangdai/xlnet
• XLNet中文预训练模型github仓库: https://github.com/ymcui/Chinese-PreTrained-XLNet

前言

XLNet是Google在2019年继2018年的bert之后的又一个NLP预训练模型，成为NLP领域当前许多任务的state-of-the-art

背景

AR语言模型与AE语言模型

Autoregressive (AR)语言模型和autoencoding (AE)语言模型是NLP中两种语言模型，区别在于AR模型是顺序结构的，一个token只与之前的token有关，而AE模型则是全连接的，一个token与其他所有token都有关。AR模型的典型代表是RNN类模型如ELMO和GPT，而AE模型的典型代表是