X L N e t XLNet XLNet 模型由卡内基梅隆大学与 G o o g l e B r a i n Google Brain GoogleBrain 团队在 2019 年 6 月携手推出的 ，其在 20 项 N L P NLP NLP 任务中超过 B E R T BERT BERT 模型，且在其中 18 项任务中拿到最优成绩，包括机器问答、自然语言推断、情感分析和文档排序等。同 B E R T BERT BERT 一样，我这里就不讲原理了，网上各种博客对 X L N e t XLNet XLNet 的介绍都很详细，感兴趣的可以自己去搜索一下，我这里还是只讲文本分类的应用。
X L N e t XLNet XLNet 融合了自回归（ A R AR AR，单向语言模型）、自编码（ A E AE AE，双向语言模型）等语言模型特征，采用最先进的 t r a n s f o r m e r transformer transformer 特征提取器（ t r a n s f o r m e r − x l transformer-xl transformer−xl，利用分割循环机制和相对位置编码进行高并发-超长文本处理），开创性地提出了排列语言模型。
自回归语言模型
自回归（ A R AR AR）是一种使用上下文词来预测下一个词的模型。但是上下文的方向只能使用前向或后向。
A R AR AR 的优势是擅长生成式自然语言处理任务。 因为在生成上下文时，通常是前向的，但是它也有自己的缺点，只能利用上文或者下文的信息，不能同时使用。
自编码语言模型
自编码（ A E AE AE）采用的就是以上下文的方式，最典型的成功案例就是 B e r t Bert Bert。通过在输入语句中随机 M a s k Mask Mask 掉一部分单词，然后预训练过程的主要任务之一是根据上下文单词来预测这些被 M a s k Mask M
最低0.47元/天 解锁文章
6158
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
