自回归和自编码

最新推荐文章于 2024-04-18 20:36:38 发布
最新推荐文章于 2024-04-18 20:36:38 发布
阅读量1.2k 收藏 3
点赞数 2
分类专栏： NLP自然语言处理 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang6562009/article/details/124432754
版权

以前看论文和博客的时候经常看到自回归模型，自编码模型，感觉云里雾里的。今天搜了搜，看清了本质。

自回归语言模型，说白了就是通过上文一步一步预测下文，不能看见未来信息的模型。像坚持只用单向Transformer的GPT就是典型的自回归语言模型

自编码语言模型就是 类似于bert 这种，使用了 mask LM 的，可以使用上下文语境信息的。这也是为什么bert 是双向的原因。区别与bi lstm 这种，使用两层网络的

爬行程序猿
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[nlp] 自回归语言模型AR 自编码语言模型AE的区别: XLNET和Bert ：Permutation Language Model
心宝的博客
10-24 514
总结：XLNet由于bert在pretrain和finetune之间会形成脱节（信息损失），而引入了XLnet模型，这个模型可以克服掉pretrain和finetune之间的不能有效搭配的问题，xlnet采用自回归模型（AR）和自编码模型（AE）,其中自编码模型是采用tranformer-xl编码层的方法，通过对应embeding之间的id采用的方式，把输入的所有之间的信息联系起来，通过。这种方法更加预测准确。由于只能限制到的文本之间的关系，如果文本长度不固定，不能很好的表示之间的联系。
自编码、自回归、Seq2Seq的区别是什么？
Mr Xi's Blog
11-17 998
自编码器用于学习数据的紧凑表示，自回归模型用于生成序列，而Seq2Seq模型用于处理序列到序列的映射任务，例如翻译。在深度学习中，这三种模型结构可以用于不同的任务，根据任务的性质和需求选择合适的模型结构是很重要的。自编码（Autoencoder），自回归（Autoregressive），和Seq2Seq（Sequence-to-Sequence）是深度学习中三个不同的模型结构，它们在任务和设计上有一些关键的区别。最常见的应用是机器翻译，其中输入是源语言的一句话，输出是目标语言的对应翻译。
统计语言模型：自编码、自回归、Word2Vec(CBOW、Skip-Gram)
zzpl139的博客
05-11 1370
统计语言模型：自编码、自回归、Word2Vec(CBOW、Skip-Gram)原理及简单实现
Auto-Regressive（自回归）、Auto-Encoding（自编码）
u013250861的博客
10-26 2287
参考资料： Seq2seq, autoregressive, autoencoding的区别，三百字讲清楚
十五、自回归（AutoRegressive）和自编码（AutoEncoding）语言模型
contributed_l的博客
03-16 1402
就是根据上文内容（或下文内容）预测下一个（或前一个）可能跟随的单词，就是常说的自左向右（或自右向左）的语言模型任务，即通过前 t - 1（或后 t - 1 ） 个 tokens 来预测当前时刻 t 的 token，代表的自回归语言模型有 ELMO 和 GPT。（DAE），是通过上下文单词来预测被 [Mask] 的 token（这些被 [Mask] 掉的单词其实就是在输入端加入的噪音，是典型的 的思路），通俗地被称为“完形填空”，代表的自编码语言模型有 Word2Vec（CBOW）和 BERT。
自编码/自回归/seq2seq 真的理解了吗？
flying_1314的博客
03-25 1025
宏观来讲，当今的天下，可以说是transformer的天下，今天下三分，分别是 自编码（Autoencoder），自回归（Autoregressive），和怎么理解呢？encoder（左派）自编码代表：bertseq2seq代表：bart自回归代表：gpt上面那个图大家看了可能就会首先有个宏观的了解，接下来，会稍微细节简单说一下，之后相关的文章也会跟进。
区分自回归（Autoregressive）和自编码（Autoencoder）
Hit the keyboard hard
04-10 2326
自回归模型可以类比早期的统计语言模型，根据上下文预测下一个单词。 自编码模型（如BERT），在输入中随机掩盖一个单词，在与训练过程中，根据上下文，预测被掩盖的单词。这种行为可以视为是降噪（denosing）。 ...
基于稀疏自动编码器和softmax回归的心室早搏诊断新方法
03-13
本文介绍了一种基于稀疏自动编码器（Sparse Auto-Encoder，SAE）和Softmax回归（Softmax Regression，SR）分类器的新颖心室早搏诊断方法。该方法通过从心电图（Electrocardiogram，ECG）信号中提取特征，并使用这些...
基于堆叠自编码器的时间序列预测.rar
最新发布
05-18
本项目聚焦于利用堆叠自编码器（Stacked Autoencoder, SAE）进行时间序列预测，这是一种深度学习技术，它在无监督学习场景下能够有效地提取数据的内在结构和特征。MATLAB作为强大的数值计算和科学计算软件，提供了...
自回归语言模型（Autoregressive LM）& 自编码语言模型（Autoencoder LM）
qq_43060870的博客
09-09 2424
自回归语言模型（Autoregressive LM） 简单的说，Autoregressive 就是根据上文预测下文或者根据下文预测上文，典型的代表：GPT ，其他代表ELMO等。 缺点：只能利用上文或者下文的信息，不能同时利用上文和下文的信息 自编码语言模型（Autoencoder LM） Autoencoder 是根据上下文语境来进行预测，典型的代表：BERT。 缺点：输入时引入[Mask]标记，导致Train阶段和Fine-tuning阶段不一致的问题。 ...
自回归语言模型（AR）和自编码语言模型（AE）
上帝是个娘们的博客
04-15 4586
自回归语言模型（Autoregressive LM） 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。E...
【NLP Transformer】机器学习中自回归、自编码、Seq2Seq模型的区别
weixin_49986678的博客
04-18 923
本文讨论自回归模型、自编码模型、Seq2Seq模型这三种编码器-解码器（encoder-decoder）架构的重叠和差异。我们首先会介绍编码器-解码器架构的基础知识，以提供最必要的背景知识。本文还简要介绍了经典或Vanilla（香草，计算机领域是普通的标准的、无扩展的意思）Transformer架构。接着，我们转向自回归模型，紧接着会介绍自编码模型，并且会看到当这两种模型组合时，我们就得到了Seq2Seq或者叫序列到序列模型。
自编码模型与自回归模型记录
Mark_Australia的博客
06-01 249
自回归与自编码模型
【深度学习】自回归VS自编码
Dong_ZH的博客
03-06 6742
自回归语言模型是根据上文或者下文来预测后一个单词。自编码语言模型是根据上下文来预测当前单词。
什么是自回归和自编码语言模型？
岁月如歌
02-25 4499
1、自回归语言模型 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO是做了两个方向（从左到右以及...
自回归、自编码语言模型在预训练模型中的应用
code_rookie5的博客
04-02 860
关于语言模型(自回归AR和自编码AE)如何结合特征提取器（LSTM和Transformer）的词表征模型（词向量的预训练模型），如ELMO、GPT、BERT、XLNET等，论文An introduction of Deep Learning Based Word Representation Applied to Natural Language Processing做了完整的介绍。 以下介绍自己...
自回归(Autoregressive)和自编码(Autoencoder)语言模型
郝同学的博客
03-18 7671
一、 自回归语言模型 听到自回归语言模型（Autoregressive LM）这个词，我们知道一般的语言模型都是从左到右计算某个词出现的概率，但是当我们做完型填空或者阅读理解这一类NLP任务的时候词的上下文信息都是需要考虑的，而这个时候只考虑了该词的上文信息而没有考虑到下文信息。所以，反向的语言模型出现了，就是从右到左计算某个词出现的概率，这一类语言模型称之为自回归语言模型。像坚持只用单向Transformer的GPT就是典型的自回归语言模型，也有像ELMo那种拼接两个上文和下文LSTM的变形自回归语言模型
LM：自回归语言模型 VS 自编码语言模型
qq_36857518的博客
12-08 370
https://zhuanlan.zhihu.com/p/163455527
自回归理解
ACM之路
06-03 3886
AR(2) 为例子 yt=ϕt−1yt−1+ϕt−2yt−2+erry_t = \phi_{t-1}y_{t-1} + \phi_{t-2}y_{t-2} + erryt​=ϕt−1​yt−1​+ϕt−2​yt−2​+err 自回归的目的就是求解ϕt−2\phi_{t-2}ϕt−2​ 和 ϕt−1\phi_{t-1}ϕt−1​. 求解的办法是先求出相关系数，把序列变成了一个值，然后列出方程组解这...
transformer和自编码器
08-23
虽然Transformer和自编码器都包含Encoder和Decoder，但它们的目标和应用领域有所不同。Transformer主要用于处理序列任务，通过self-attention和全连接层来学习序列之间的依赖关系。而自编码器则用于学习输入数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值