[nlp] 自回归语言模型AR 自编码语言模型AE的区别: XLNET和Bert ：Permutation Language Model

已于 2022-10-24 16:49:46 修改
阅读量541 收藏
点赞数
分类专栏： nlp 文章标签： 1024程序员节
于 2022-10-24 16:47:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/127494982
版权
XLNet通过全排列的方式在自回归模型中引入上下文信息，解决了BERT预训练和微调阶段的输入分布偏差问题。它在自编码模型的基础上，实现了更有效的上下文融合，从而在多个NLP任务上超越了BERT。
摘要由CSDN通过智能技术生成

​​​​​​​​​​​​​​自回归语言模型 VS 自编码语言模型 - 知乎

关于transformer-xl和xlnet以及tensorflow的知识简要小结_weixin_41710583的博客-CSDN博客

关于transformer-xl和xlnet以及tensorflow的知识简要小结_weixin_41710583的博客-CSDN博客

总结：

XLNet

        由于bert在pretrain和finetune之间会形成脱节（信息损失），而引入了XLnet模型，这个模型可以克服掉pretrain和finetune之间的不能有效搭

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
Bert看图说话模型标注标签数据集Image Captioning: NLP自然语言处理与计算机视觉模型融合训练
12-31
在当前的AI领域，自然语言处理（NLP）和计算机视觉（CV）的结合正日益成为研究的热点。"Bert看图说话模型标注标签数据集Image Captioning"就是这样一个典型的例子，它体现了这两者在多模态任务中的深度融合，特别是...
NLP领域中两种语言模型AR(AutoRegressive Language Modeling)和AE(AutoEncoding Language Modeling)
xiao_ling_yun的博客
03-03 1381
自然语言领域中语言模型一般划分为两类：AR(AutoRegressive Language Modeling)和AE(AutoEncoding Language Modeling)，两类模型的定义、数学表示、代表作以及优缺点
最火的几个全网络预训练模型梳理整合（BERT、ALBERT、XLNet详解）
热门推荐
weixin_43301333的博客
03-15 1万+
过去两年可谓是NLP领域的高光年，自从18年BERT提出，狂刷了11项下游任务的记录之后，全网络预训练模型开启了NLP嵌入表示的新时代，真正意义上实现了自然语言处理的迁移学习。 作为一个刚入坑没多久的白中白，真心感叹自己接触太晚，但是又愁于感天动地的英文阅读能力，再加上原论文有些语句的描述实在是晦涩难懂，在翻阅大量博客和视屏之后，总算花了一整天时间，把过去几年最火的几个模型原理大致梳理明白了。借此写一篇博客，虽然许多内容参考了其他blog,但也是经过自己消化理解，按照自己的思路罗列的。...
NLP 3.9 使用permutation 对 Language model的缺点进行改进；Transformer-XL:对Transformer空间复杂度高进行改进
JJJJJJames的博客
02-26 1111
BERT 的优缺点： 优点： 1、考虑双向信息（上下文信息） 2、Long term dependency 缺点： 1、测试数据没有masked，训练和测试数据不匹配 2、缺乏生成能力 3、针对每个mask预测时，没有考虑相关性。类似朴素贝叶斯 Auto-regressive LM 的优缺点：经典的Language mode 从左到右的语言模型 优点： 1、具备生成能力 2、考虑了词之间的相关性 3、无监督学习 4、严格的数据表达式 缺点： 1、单向的 2、离得近的单词未必有关系 3、看不到很远的单词
预训练语言模型整理（ELMo/GPT/BERT...）
sjyttkl的专栏
03-19 2811
预训练语言模型整理（ELMo/GPT/BERT...） 简介 2018年ELMo/GPT/BERT的相继提出，不断刷新了各大NLP任务排行榜，自此，NLP终于找到了一种方法，可以像计算机视觉那样进行迁移学习，被誉为NLP新时代的开端。 与计算机视觉领域预训练模型不同的是，其通过采用自监督学习的方法，将大量的无监督文本送入到模型中进行学习，即可得到通用的预训练模型，而NLP领域中无监督文本...
NLP语言模型概览
noobiee的博客
08-10 3643
Pre-trained Language Model（PLM）模型BERT 具有两种输出，一个是pooler output，对应的[CLS]的输出，以及sequence output，对应的是序列中的所有字的最后一层hidden输出。所以BERT主要可以处理两种，一种任务是分类/回归任务（使用的是pooler output），一种是序列任务（sequence output）
NLP：语言表示模型BERT
04-21
BERT（Bidirectional Encoder Representations from Transformers）是一种由Google AI Language团队开发的语言表示模型，用于提升自然语言处理（NLP）任务的性能。该模型的核心创新在于其预训练过程，它利用无标注...
NLP：一种神经概率语言模型A Neural Probabilistic Language Model.pdf
04-21
《NLP：一种神经概率语言模型A Neural Probabilistic Language Model》是2003年由Yoshua Bengio等人发表的重要论文，它开创性地利用神经网络解决语言模型问题，为后来的自然语言处理（NLP）领域奠定了基础。...
歌词生成：基于自然语言模型的bert歌词生成系统，内部含数据集及算法
05-24
在当今的AI领域，自然语言处理（NLP）已经取得了显著的进步，特别是在文本生成方面。BERT（Bidirectional Encoder Representations from Transformers）是Google在2018年提出的一种深度学习模型，它在多项自然语言...
自然语言处理课设：基于TF-IDF ，Word2vec和BERT 的SQuAD问答模型python，含报告
01-18
自然语言处理（NLP）是计算机科学领域的一个重要分支，主要关注如何使计算机理解、解析、生成和操作人类语言。在这个课设中，我们将探讨三种关键的NLP技术：TF-IDF，Word2vec和BERT，并应用它们在SQuAD（Stanford ...
NLP相关知识点问答总结（二）
Catcher
02-28 2288
前言 这些知识点基本是本人在准备春招和秋招时做的笔记，东西比较杂，有的是自己总结，有的是参考网上博客，可能不是很准确，还望各位批评指正，多多交流。 问-31：GloVe相对于word2vec有哪些优缺点？ 答： 优点： 1：统计全局信息： 考虑了全局的统计信息，在小数据集上也能有不错的效果，word2vec只使用局部的信息 2：训练速度更快： 从其实现上来说，更容易实现并行化，所以训练速度更快，相对于Co-Occurence Vector进行矩阵分解，速度要更快 3：可拓展性强： 如果加入新的语料，由于之前
XLNet原理详解
sinat_24330297的博客
10-14 2576
XLNet原理详解1. 什么是XLNet2.自回归语言模型（Autoregressive LM）3. 自编码语言模型4. XLNet模型4.1 排列语言模型（permutation language Modeling）4.2 双流注意力机制4.2.1 引例：4.2.2 双流注意力机制4.2.3 部分预测4.3Transform-XL4.3.1 Transform4.3.2 Transform XL...
语境化语言表示模型-ELMO、BERT、GPT、XLnet
qq_37977007的博客
01-11 1177
简答介绍关于语境化的向量表示方法，相关模型后续会继续补充。
自编码、自回归、Seq2Seq的区别是什么？
Mr Xi's Blog
11-17 1150
自编码器用于学习数据的紧凑表示，自回归模型用于生成序列，而Seq2Seq模型用于处理序列到序列的映射任务，例如翻译。在深度学习中，这三种模型结构可以用于不同的任务，根据任务的性质和需求选择合适的模型结构是很重要的。自编码（Autoencoder），自回归（Autoregressive），和Seq2Seq（Sequence-to-Sequence）是深度学习中三个不同的模型结构，它们在任务和设计上有一些关键的区别。最常见的应用是机器翻译，其中输入是源语言的一句话，输出是目标语言的对应翻译。
【NLP Transformer】机器学习中自回归、自编码、Seq2Seq模型的区别
最新发布
weixin_49986678的博客
04-18 1085
本文讨论自回归模型、自编码模型、Seq2Seq模型这三种编码器-解码器（encoder-decoder）架构的重叠和差异。我们首先会介绍编码器-解码器架构的基础知识，以提供最必要的背景知识。本文还简要介绍了经典或Vanilla（香草，计算机领域是普通的标准的、无扩展的意思）Transformer架构。接着，我们转向自回归模型，紧接着会介绍自编码模型，并且会看到当这两种模型组合时，我们就得到了Seq2Seq或者叫序列到序列模型。
区分自回归（Autoregressive）和自编码（Autoencoder）
Hit the keyboard hard
04-10 2351
自回归模型可以类比早期的统计语言模型，根据上下文预测下一个单词。 自编码模型（如BERT），在输入中随机掩盖一个单词，在与训练过程中，根据上下文，预测被掩盖的单词。这种行为可以视为是降噪（denosing）。 ...
什么是自回归和自编码语言模型？
岁月如歌
02-25 4548
1、自回归语言模型 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO是做了两个方向（从左到右以及...
自回归(Autoregressive)和自编码(Autoencoder)语言模型
郝同学的博客
03-18 7855
一、 自回归语言模型 听到自回归语言模型（Autoregressive LM）这个词，我们知道一般的语言模型都是从左到右计算某个词出现的概率，但是当我们做完型填空或者阅读理解这一类NLP任务的时候词的上下文信息都是需要考虑的，而这个时候只考虑了该词的上文信息而没有考虑到下文信息。所以，反向的语言模型出现了，就是从右到左计算某个词出现的概率，这一类语言模型称之为自回归语言模型。像坚持只用单向Transformer的GPT就是典型的自回归语言模型，也有像ELMo那种拼接两个上文和下文LSTM的变形自回归语言模型
Bert和Albert、XLNet的前世今生
qq_40176087的博客
05-01 924
样本不均衡问题 所谓的不平衡指的是不同类别的样本量差异非常大，或者少数样本代 表了业务的关键数据（少量样本更重要），需要对少量样本的模式有 很好的学习。样本类别分布不平衡主要出现在分类相关的建模问题上。 样本类别分布不均衡从数据规模上可以分为大数据分布不均衡和小数 据分布不均衡两种： 大数据分布不均衡——整体数据规模较大，某类别样本占比较 小。例如拥有1000万条记录的数据集中，其中占比5万条的...
NLP预训练语言模型技术深入分析
XLNet是一种结合了自回归模型和双向上下文预训练方法的模型，它利用排列语言建模（Permutation Language Modeling）来解决BERT中MLM预训练可能存在的遮蔽信息不对称问题。RoBERTa则是在BERT的基础上做了多项改进，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值