XLNet技术学习（论文+原理+代码）

最新推荐文章于 2023-12-10 16:37:55 发布
最新推荐文章于 2023-12-10 16:37:55 发布
阅读量6.7k 收藏 37
点赞数 7
分类专栏： NLP技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42985103/article/details/93041597
版权

XLNet技术学习（论文+原理+代码）

  1. 论文
  2. XLNet原理
  3. XLNet代码

来自卡耐基梅隆大学与谷歌大脑的研究者提出新型预训练语言模型 XLNet，在 SQuAD、GLUE、RACE 等 20 个任务上全面超越 BERT。

  1. 论文：
    https://arxiv.org/pdf/1906.08237.pdf

  2. XLNet原理
    2.1. 20项任务全面碾压BERT，CMU全新XLNet预训练模型屠榜（已开源）
    https://mp.weixin.qq.com/s/29y2bg4KE-HNwsimD3aauw
    2.2. 20项任务横扫BERT！CMU谷歌发布XLNet，NLP再迎屠榜时刻
    https://mp.weixin.qq.com/s/Yah8cJmzTwRfom4LHTPKYw
    2.3. 想在PyTorch里训练BERT，请试试Facebook跨语言模型XLM
    https://mp.weixin.qq.com/s/im-5SKvHQNmAWxtAehvdHQ
    2.4. XLNet:运行机制及和Bert的异同比较
    https://mp.weixin.qq.com/s/2nWZkWDWbtHEkWyTCKKuHw
    2.5. 碾压Bert？“屠榜”的XLnet对NLP任务意味着什么
    https://mp.weixin.qq.com/s/o35E4rFkm4KsL_2a3fqe_Q
    2.6. 追溯XLNet的前世今生：从Transformer到XLNet
    https://mp.weixin.qq.com/s/SAiIIa9_-16dqRMKASsuhw
    2.7. 最通俗易懂的XLNET详解
    https://blog.csdn.net/u012526436/article/details/93196139

  3. 代码
    3.1. 官方代码
    https://github.com/zihangdai/xlnet
    3.2. xlnet模型微调—英文文本分类
    https://blog.csdn.net/luoyexuge/article/details/93074979
    3.3. XLNet代码分析
    https://www.codercto.com/a/90942.html

william.long.wong
关注
专栏目录
XLNet原理与代码实例讲解
程序员光剑
08-13 326
1. 背景介绍 1.1 自然语言处理的预训练模型 近年来，自然语言处理（NLP）领域取得了显著的进展，这在很大程度上归功于预训练模型的出现。预训练模型通过在大规模文本数据上进行训练，学习到了丰富的语言表示，可以有效地迁移到各种下游NLP任务中，例如文本分类、问答系统、机器翻译等。
XLNet_Paper_Chinese_Translation:XLNet
03-14
XLNet：用于语言理解的广义自回归预训练论文的翻译 本文是XLNet论文的全文翻译，转载注明出处和译者。 或 译者：袁宵 说明：1。对于没有标准译法的词汇保留了原单词； 2。以准确的翻译为第一目标，力求保持原意； 3。欢迎读者参与到翻译中来，提出修改意见。 欢迎点亮右上角星星，感谢 :grinning_face_with_big_eyes: 手机扫码阅读： 由于GitHub当前不能很好渲染公式符号，建议直接查看或 XLNet：广义自回归预训练语言模型 摘要 由于具有双向模块化建模的能力，像贝尔这样基于自动去噪声的预训练语言模型比基于自回归的预训练语言模型的性能更好。针对这些优点和缺点，我们提出了XLNet，一种广义的自回归预训练方法，它（1）通过最大化，XLNet将最先进的自回归模型，并（2）并通过其自回归方法，克服了BERT的局限性。实验表明，XLNet在20个任务上常大幅度偏差BERT的表现，并在18个任务中实现最先进的结果，包括问答，自
XLNet论文解析
da_kao_la的博客
11-20 759
论文解析：XLNet: Generalized Autoregressive Pretraining for Language Understanding for Language Understanding 论文地址: https://arxiv.org/pdf/1906.08237.pdf 项目github仓库: https://github.com/zihangdai/xlnet XLNe...
xlnet源码分析
woshiliulei0的专栏
08-20 541
http://fancyerii.github.io/2019/06/30/xlnet-codes/
Raki的读paper小记：XLNet: Generalized Autoregressive Pretraining for Language Understanding
Raki_J的博客
03-18 441
Abstract & Introduction & Related Work 研究任务 预训练语言模型 已有方法和相关工作 BERT 面临挑战 依靠用掩码破坏输入，BERT忽略了被掩码位置之间的依赖性，并受到预训练-调整差异的影响 创新思路 通过对因式分解顺序的所有排列组合的预期可能性最大化，实现了双向语境的学习 由于其自回归方法，克服了BERT的限制 结合了Transformer-XL，打破了512token的限制 实验结论 大幅超越BERT的性能 XL
一文详解Google最新NLP模型XLNet
Paper weekly
07-01 1487
本文介绍 XLNet 的基本原理，读者阅读前需要了解 BERT 等相关模型，不熟悉的读者建议学习 BERT 课程 [1]。语言模型和BERT各自的优缺点排列(Permut...
XLNet预训练模型，看这篇就够了！(代码实现)
mantch
09-30 4104
文章目录1. 什么是XLNet2. 自回归语言模型（Autoregressive LM）3. 自编码语言模型（Autoencoder LM）4. XLNet模型4.1 排列语言建模（Permutation Language Modeling）4.2 Transformer XL4.2.1 vanilla Transformer4.2.2 Transformer XL5. XLNet与BERT比较6...
论文笔记 —— XLNet [在20项任务上超越BERT]
IndexFziQ CSDN
06-21 1304
From Google Brain and CMU. Authors: Zhilin Yang∗, Zihang Dai∗, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le Title: XLNet: Generalized Autoregressive Pretraining for Language Understa...
XLNet详解
qq_41980734的博客
03-06 880
XLNet详解
XLNet 代码实践及原理解析(一）
szdbl的专栏
03-19 414
本文记录对XLNet的实践过程，会在实践和代码分析的过程中，穿插着从代码层面对原理的理解。基本上是按照里面的顺序，一步步实践的，不过对里面的一些细节针对自己的实践，进行了补充和修改。希望对学习nlp朋友们有所帮助。读者阅读前需要初步了解XLNet的原理，不熟悉的读者请先阅读下面的。到了这一步你会对原理有初步的理解，深入的理解和对细节的把握还需要从代码细节入手。文章如有错误还望谅解，欢迎沟通讨论。
NeurIPS上讲解XLNet的PPT
09-29
An auto-regressive model that captures bidirectional context
XLNet作者讲解XLNet
09-19
Recurrent.ai联合创始人 杨植麟：自然语言理解模型：XLNet
谷歌更强 NLP 模型 XLNet 开源：20 项任务全面碾压 BERT！
AI 研习社的博客
06-21 773
雷锋网 AI 科技评论按：去年 11 月份，谷歌研究团队在 GitHub 上发布了万众期待的 BERT，它不仅在 11 项 NLP 测试中刷新了最高成绩，甚至还表现出全面超越人类的惊人结果。但 BERT 带来的震撼还未平息，今日又一个令众多 NLPer 兴奋的消息发布： CMU 与谷歌大脑提出的全新 XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果！而...
第11章: 挑战BERT地位的Autoregressive语言模型XLNet剖析及源码完整实现
StarSpaceNLP667的博客
11-22 344
Transformer培训、Transfomer课程、Transfomer面试、Transformer公开课、GavinNLP、StarSpaceNLP、Attention机制、Transformer架构、NLP课程、Transformer培训课程、NLP、Transformer培训课程
XLnet文献阅读笔记
qq_41560285的博客
03-03 511
XLnet论文解读
[XLNet]论文解读：XLNet:Generalized Autoregressive Pretraining for Language Understanding
最新发布
bigcrab的博客
12-10 1077
XLNet主要就是两个东西，一个是Permutation Language Modeling，一个是transformer-xl；感觉性能相对于roberta也没提升多少，这个模型的架构应该是不太行；
[转载]XLNet运行机制
年年年的博客
03-18 185
XLNet自回归语言模型自编码语言模型XLNet的改进 首先引入自回归语言模型以及自编码语言模型的概念。 自回归语言模型 自回归语言模型（Autoregressive LM），简单的来说就是，根据上文预测下文（或者根据下文预测上文）。重点是单方向。 缺点：仅仅可以利用上文或者下文的信息。 优点：符合逻辑，例如符合人类从左向右读文章的特点。 自编码语言模型 自编码语言模型（Autoencoder LM），简单来说根据上下文预测。例如Bert中Mask掉一部分单词，根据上下文预测被Mask掉单词是什么。 优点：
XLNet代码分析
小岁月太着急
07-06 4249
转载自http://fancyerii.github.io/2019/06/30/xlnet-codes/ 如需删除请联系谢谢 目录 训练的代价(钱) 安装 Pretraining 训练数据格式 运行预处理数据 data_utils.py代码分析 处理每一个文件的过程 拼接前的预处理和拼接 create_tfrecords函数 准备数据 生成Pr...
xlnet代码实现pytorch
10-09
XLNet 是一种基于 Transformer 的预训练语言模型，可以用于各种自然语言处理任务。在 PyTorch 中，你可以使用 Hugging Face 的 Transformers 库来实现 XLNet。 首先，你需要安装 Transformers 库。可以使用以下命令安装： ``` pip install transformers ``` 然后，你可以使用以下代码加载预训练好的 XLNet 模型： ```python from transformers import XLNetModel, XLNetTokenizer # 加载预训练好的 XLNet 模型 model = XLNetModel.from_pretrained('xlnet-base-cased') # 加载对应的 tokenizer tokenizer = XLNetTokenizer.from_pretrained('xlnet-base-cased') # 输入文本 text = "Hello, how are you?" # 分词并编码 input_ids = tokenizer.encode(text, add_special_tokens=True) # 转换为 PyTorch 张量 input_ids = torch.tensor([input_ids]) # 获取模型输出 outputs = model(input_ids) # 获取最后一层的隐藏状态 hidden_states = outputs[0] # 打印输出 print(hidden_states) ``` 这样，你就可以使用 XLNet 模型进行预测或者其他自然语言处理任务了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值