[nlp] 自回归语言模型AR 自编码语言模型AE的区别: XLNET和Bert ：Permutation Language Model

已于 2022-10-24 16:49:46 修改
阅读量485 收藏
点赞数
分类专栏： nlp 文章标签： 1024程序员节
于 2022-10-24 16:47:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/127494982
版权

​​​​​​​​​​​​​​自回归语言模型 VS 自编码语言模型 - 知乎

关于transformer-xl和xlnet以及tensorflow的知识简要小结_weixin_41710583的博客-CSDN博客

关于transformer-xl和xlnet以及tensorflow的知识简要小结_weixin_41710583的博客-CSDN博客

总结：

XLNet

        由于bert在pretrain和finetune之间会形成脱节（信息损失），而引入了XLnet模型，这个模型可以克服掉pretrain和finetune之间的不能有效搭配的问题，xlnet采用自回归模型（AR）和自编码模型（AE）,其中自编码模型是采用tranformer-xl编码层的方法，通过对应embeding之间的id采用全排列的方式，把输入的所有之间的信息联系起来，通过双流注意力的方式ÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Bert看图说话模型标注标签数据集Image Captioning: NLP自然语言处理与计算机视觉模型融合训练
12-31
Bert看图说话模型标注标签数据集Image Captioning: NLP自然语言处理与计算机视觉模型融合训练 多模态任务、Image Captioning Task 2014
什么是自回归和自编码语言模型？
岁月如歌
02-25 4256
1、自回归语言模型 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO是做了两个方向（从左到右以及...
NLP 3.9 使用permutation 对 Language model的缺点进行改进；Transformer-XL:对Transformer空间复杂度高进行改进
JJJJJJames的博客
02-26 1016
BERT 的优缺点： 优点： 1、考虑双向信息（上下文信息） 2、Long term dependency 缺点： 1、测试数据没有masked，训练和测试数据不匹配 2、缺乏生成能力 3、针对每个mask预测时，没有考虑相关性。类似朴素贝叶斯 Auto-regressive LM 的优缺点：经典的Language mode 从左到右的语言模型 优点： 1、具备生成能力 2、考虑了词之间的相关性 3、无监督学习 4、严格的数据表达式 缺点： 1、单向的 2、离得近的单词未必有关系 3、看不到很远的单词
NLP领域中两种语言模型AR(AutoRegressive Language Modeling)和AE(AutoEncoding Language Modeling)
xiao_ling_yun的博客
03-03 1149
自然语言领域中语言模型一般划分为两类：AR(AutoRegressive Language Modeling)和AE(AutoEncoding Language Modeling)，两类模型的定义、数学表示、代表作以及优缺点
百题突击16:1，Roberta、Albert 分别对 Bert 做了哪些改进 2，XLNet 如何实现 Permutation Language Model 3，CycleGAN的生成效果为啥一般都
MrCharles在CSDN
04-27 266
Roberta、Albert 分别对 Bert 做了哪些改进 请参考: https://zhuanlan.zhihu.com/p/347846720 XLNet 如何实现 Permutation Language Model 请参考: https://zhuanlan.zhihu.com/p/70257427 CycleGAN的生成效果为啥一般都是位置不变纹理变化，为啥不能产生不同位置的生成效果 请参考: https://blog.csdn.net/weixin_41697507/article/detai
预训练语言模型整理（ELMo/GPT/BERT...）
weixin_44626980的博客
11-28 1180
目录 简介 预训练任务简介 自回归语言模型 自编码语言模型 预训练模型的简介与对比 ELMo 细节 ELMo的下游使用 GPT/GPT2 GPT 细节 微调 GPT2 优缺点 ...
NLP：一种神经概率语言模型A Neural Probabilistic Language Model.pdf
04-21
本文于2003年第一次用神经网络来解决语言模型的问题，虽然在当时并没有得到太多的重视，却为后来深度学习在解决语言模型问题甚至很多别的nlp问题时奠定了坚实的基础，后人站在Yoshua Bengio的肩膀上，做出了更多的...
NLP：语言表示模型BERT
04-21
我们介绍了一种新的语言表示模型BERT，它表示转换器的双向编码器表示。与最近的语言表示模型不同(Peters et al., 2018; Radford et al., 2018)，BERT通过在所有层的上下文联合调节来预训练深层双向表示。因此，只需...
简洁易用版TinyBert：基于Bert进行知识蒸馏的预训练语言模型
最新发布
11-27
3、用2得到的模型再继续蒸馏得到fine-tune的student model base，注意这一步的student model base要用1中通用的student model base去初始化；（词向量loss + 隐层loss + attention loss） 4、重复第3步，但student ...
歌词生成：基于自然语言模型的bert歌词生成系统，内部含数据集及算法
05-24
包含教程、数据集、算法、预训练模型；可以直接下载运行。
[nlp] scikit-learn 朴素贝叶斯类库概述——GaussianNB，MultinomialNB，BernoulliNB
心宝的博客
03-15 6366
参考：https://www.cnblogs.com/pinard/p/6074222.html 1.scikit-learn 朴素贝叶斯类库概述 scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。其中GaussianNB就是先验为高斯分布的朴素贝叶斯，MultinomialNB就是先验为多项式分布的朴素贝...
[nlp] 深度学习技巧（防止过拟合）——Early Stopping 早停法
心宝的博客
03-18 4726
参考：https://www.datalearner.com/blog/1051537860479157#2.2%E3%80%81%E5%81%9C%E6%AD%A2%E6%A0%87%E5%87%86%E9%80%89%E6%8B%A9%E8%A7%84%E5%88%99 一、早停法简介（Early Stopping） 当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性能（general...
[nlp] SQuAD 数据集介绍(Q+A+原文)
心宝的博客
05-22 3816
一、SQuAD 1.1 SQuAD 是由 Rajpurkar等人提出的一个 抽取式QA数据集 [闭集]。该数据集包含 10 万个（问题，原文，答案）三元组，原文来自于 536 篇维基百科文章。 对于每个文章的问题(<=5)，有很多标注人员标注答案，且答案出现在原文中。 二、SQuAD 2.0 相较SQuAD 1.1中的10万问答,SQuAD 2.0又新增了5万个人类撰写的问题——而且问题不一定有对应答案。 三、QA架构 SQuAD阅读理解模型总结_catbird233的博客...
[nlp] Word2vec模型 skip-gram和CBOW区别
心宝的博客
11-11 3327
区别 Word2Vec模型中，主要有Skip-Gram和CBOW两种模型。 Skip-Gram是给定input word来预测上下文。 而CBOW是给定上下文，来预测input word。 Embedding其实就是一个映射，将单词从原先所属的空间映射到新的多维空间中，也就是把原先词所在空间嵌入到一个新的空间中去。 Skip-gram 第一部分为建立模型，第二部分是通过模型获取嵌入词向量。 Wo...
[nlp] BertSum
心宝的博客
02-11 3201
LSTM : 序列模型。 BertSum : self attention 自注意力向量表征句子（q,k,v），实现并行 。(RNN ,LSTM 灰常慢) 双向transformer 基于encoder单元双向预训练模型 基于维基，语言模型训练。 transformer : 以自注意力单元做了很多encoder decoder结构 。 bert分类器： 1. 经典神经网络 2. transfo...
[nlp] 数据预处理：归一化&标准化&PCA降维&ZCA
心宝的博客
02-29 2807
归一化（Normalization） １）数据处理更快 ： 把数据变成(０，１)或者（1,1）之间的小数。 ２）统一量纲（去单位）： 有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 3）公式 （1）最大最小归一化 （Min-Max Normalization）    x’ = (x ...
[nlp] 自动文摘评测 Rouge-1、Rouge-2、Rouge-L、Rouge-S
心宝的博客
03-24 2657
ROUGE或Recall-Oriented Understudy for Gisting Evaluation 是一组指标和软件包，用于评估自然语言处理中的自动摘要和机器翻译软件。指标将自动生成的摘要或翻译与参考或一组参考（人工生成的）摘要或翻译进行比较。 ROUGE-N：系统摘要和参考摘要之间的n-gram[2]重叠。 ROUGE-1 是指系统摘要和参考摘要之间的unigram（每个单词）的重叠。 ROUGE-2 是指系统和参考摘要之间的二元组重叠。 ROUGE-...
[nlp] CNN
心宝的博客
12-19 2520
表征学习：它避免了手动提取特征的麻烦，允许计算机学习使用特征的同时，也学习如何提取特征。 前馈神经网络：每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。 哪里不同呢？ 卷积神经网络默认输入是图像，可以让我们把特定的性质编码入网络结构，使是我们的前馈函数更加有效率，并减少了大量参数。 卷积神经网络通常包含以下几种层： 卷积层（Convolutional la...
[nlp] 二分类（F1），多分类，多标签
心宝的博客
03-13 2117
F1 score 召回率 recall ： 真实正例中预测为正的比例。 准确率 precision ： 预测为正的实例真实也为正（预测正确）的比例。 ROC曲线 其他展示分类模型性能的可视化技术是受试者特征曲线（ROC 曲线，Receiver Operating Characteristic curve）。 这个思想是相当简单的：ROC 曲线展示了 当改变在模型**（预测）中...
自回归语言模型中自回归是什么意思
05-20
自回归指的是模型在生成序列中的每个元素时，都依赖于该序列之前已经生成的元素。也就是说，模型生成序列的过程是一个逐步生成的过程，每一步都基于前一步的输出结果进行生成。这种生成方式被称为“自回归生成”，因为模型生成序列的过程类似于一个自回归模型，它使用先前生成的元素作为输入来预测下一个元素。在自然语言处理领域中，自回归模型广泛应用于生成文本、翻译等任务中。其中最著名的模型是GPT系列（Generative Pre-trained Transformer），它使用Transformer模型结构进行自回归生成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值