论文解析:XLNet: Generalized Autoregressive Pretraining for Language Understanding for Language Understanding
- 论文地址: https://arxiv.org/pdf/1906.08237.pdf
- 项目github仓库: https://github.com/zihangdai/xlnet
- XLNet中文预训练模型github仓库: https://github.com/ymcui/Chinese-PreTrained-XLNet
前言
XLNet是Google在2019年继2018年的bert之后的又一个NLP预训练模型,成为NLP领域当前许多任务的state-of-the-art
背景
AR语言模型与AE语言模型
Autoregressive (AR)语言模型和autoencoding (AE)语言模型是NLP中两种语言模型,区别在于AR模型是顺序结构的,一个token只与之前的token有关,而AE模型则是全连接的,一个token与其他所有token都有关。AR模型的典型代表是RNN类模型如ELMO和GPT,而AE模型的典型代表是