本文探讨了XLNet与BERT两种预训练语言模型的差异与优劣。XLNet作为自回归预训练方法，融合了BERT的双向信息处理能力，解决了预训练与微调不一致的问题，尤其适合生成类NLP任务。文章详细解释了XLNet的Permutation Language Model和BERT的Masked Language Model，指出两者本质相似，但XLNet在处理长文档和生成任务上更具优势。
目录
322.自回归语言模型（Autoregressive LM）
321.什么是XLNet？
XLNet 是一个类似 BERT 的模型，而不是完全不同的模型。总之，**XLNet是一种通用的自回归预训练方法**。它是CMU和Google Brain团队在2019年6月份发布的模型，最终，XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果（state-of-the-art），包括机器问答、自然语言推断、情感分析和文档排序。
322.自回归语言模型（Autoregressive LM）
在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO是做了两个方向（从左到右以
订阅专栏 解锁全文
扫一扫
621
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
