2020,XLNet: Generalized Autoregressive Pretraining for Language Understanding
无监督表示学习在NLP领域取得了很大的成功。通常,这些方法首先在大规模的未标记文本语料库上对神经网络进行预训练,然后在下游任务上微调模型或表示。在这种共同的高水平思想下,已经在文献中探索了不同的无监督的训练前目标。其中,自回归(AR)语言建模和自编码(AE)是预训练最成功的两个目标。AR语言建模试图用一个自回归模型[7,27,28]来估计一个文本语料库的概率分布。...
原创
2022-08-31 10:45:57 ·
635 阅读 ·
1 评论