关于transformer decoder和RNN（or LSTM）decoder的input的疑问

最新推荐文章于 2023-07-11 14:09:28 发布
最新推荐文章于 2023-07-11 14:09:28 发布
阅读量408 收藏
点赞数
分类专栏： Questions
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DecafTea/article/details/112347723
版权

《RNN模型与NLP应用(7)：机器翻译与Seq2Seq模型》里，在training阶段RNN-decoder的输入是为什么能是variable length（x’_1:t, 即已生成的话，t是已生成的单词数）的呢？同样的，在《transformer（2）》transformer decoder里，输入也是x’_1:t，每次把已生成的单词加入输入的话，那经过多头self attention层得到的c_1：t和经过多头attention层得到的z_1:t都需要重新计算吗？

DecafTea
关注
专栏目录
李宏毅 Transformer（Decoder部分）
missgrass的博客
03-10 4398
Transformer P2_Decoder Decoder – Autoregressive (AT) Autoregressive (AT )😗 利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型。即已知N个数据，可由模型推出第N点前面或后面的数据（设推出P点）
Transformer的Decoder的输入输出都是什么
cumtchw
04-16 1648
decoder input: Encoder input(我有一只猫) + start [---I have a cat /end--- masked]decoder input: Encoder input(我有一只猫) + start I [---have a cat /end--- masked]训练时，decoder的并行计算是指 翻译第i+1个单词无需等待第i个单词的输出，因为训练时知道所有训练数输入数据的真实标签值，无需等待，可并行运算。/结束符，方便预测第一个Token/结束预测过程。
Transformer Decoder输入永远跟随输出?记录一下犯的sb错误
qq_35078278的博客
09-10 1215
问题: transformer输出(即decoder输出), 与encoder输入无关, 永远跟随decoder输入. 代码修改前好好的, 在几次更新之后突然出现错误,不得不拿出旧版本的代码, 给两个版本初始化相同的权重, 除去所有随机因素(如dropout设置为0等). 开始一行一行调试,对比两个版本的输出. 在进行这种无脑式的调试之前, 我仔细思考过原因. 由于transformer的decoder端self-attention是有sequence mask的, 也就是decoder输入第i个位置只能看
NLP Transformer的Decoder的输入输出都是什么？每个部分都是什么? NLP中的encoder和decoder的输入是什么？
MOL
07-11 6336
要弄清楚Decoder的输入输出，关键在于图示三个箭头的位置：因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“L Love China”）的过程。
音视频序列数据分析（RNN-＞seq2seq-＞Encoder+Decoder-＞Attention-＞Transformer）
小幸运
05-06 1063
1. RNN 针对语音、视频等序列数据，我们需要进行全局时序信息考虑，因此RNN模型是最初最基础的模型结构。 主要可以分析的任务：语音识别、语音合成、视频摘要生成、音视频情感预测等。 存在问题：输出的序列长度与输入序列长度保持一致，不能任意变化。 2. Seq2Seq (即 Encoder + Decoder 结构) seq2seq，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LSTM、GRU等）结构。 Encoder将一个序列编码为...
RNN到LSTM到transformer
weixin_60417738的博客
05-26 717
RNN、LSTM、transformer
基于LSTM的Encoder-Decoder模型、基于Transformer的序列预测模型和BeLSTM模型来预测电力变压器油温
最新发布
05-22
LSTM (Long Short-Term Memory) 是一种特殊的循环神经网络（RNN）架构，用于处理具有长期依赖关系的序列数据。传统的RNN在处理长序列时往往会遇到梯度消失或梯度爆炸的问题，导致无法有效地捕捉长期依赖。LSTM通过...
机器学习5. RNN/LSTM/GRU 反向传播公式推导；encoder-decoder框架/attention机制汇总
xd_ljq的博客
04-15 1717
研究生期间主要科研的内容，先把基本公式推一推。 RNN/LSTM正相传播和BPTT推导 注意，公式中的梯度以某一时刻ttt为例，若要计算某个参数的总梯度，只需要对不同时刻的梯度求和即可。 ...
彻底看懂RNN，LSTM，GRU，用数学原理解释梯度消失或者梯度爆炸
qq_50974223的博客
04-15 2172
Recurrent Neutral Network 章节 RNN概述 LSTM GRU 梯度困区 Seq2Seq模型 何去何从 模型之外 RNN概述 为什么它叫做递归神经网络呢？与其他网络有何不同？接下来用简单例子阐述： 这是比较简单的示意图，比如说一个网络只有一层，那么，那一层代表的函数方法就是这个网络实际对输入所起的作用，即Y = Funtion(X)，我们实际上想找出那个function它究竟是什么。 可以从下图看出，RNN得到一个输出不仅仅靠输入的X，同时还依赖于h，h在RNN中被叫做cell
序列处理神器：RNN与LSTM在NLP中的十大应用技巧
在处理序列数据时，循环神经网络（RNN）和其变体长短期记忆网络（LSTM）是两个极为关键的技术。本章将为读者提供对这些技术的初步认识，从它们的基本概念到在NLP中的作用，为理解后续章节内容奠定基础。 ## 1.1 ...
A COMPARISON OF TRANSFORMER AND LSTM ENCODERDECODERMODELSFORASR
pitaojun的博客
09-17 508
A COMPARISON OF TRANSFORMER AND LSTM ENCODER DECODER MODELS FOR ASR 1.论文摘要 在解决asr任务常用的端到端的模型中对比了Trasnformer 和 Lstm 两种模型结构的效果，并得出了一些有用的结论： （1）Transformer 相比LSTM来说训练更加稳定但容易过拟合。 （2）采用两层lstm结构作为Transformer encoder中的位置编码的效果更好。 （3）在训练两个模型的过程中需要采用一些预训练和其他策略调整的tri
Transformers 库的基本使用
热门推荐
步入人工智能
06-19 3万+
本内容主要介绍 Transformers 库 的基本使用。
Transformer代码实现机器翻译示例（注意：Encoder_input，Decoder_input，Decoder_output：训练标签设定）
weixin_43860330的博客
03-14 2437
【代码】Transformer代码实现机器翻译示例（注意：Encoder_input，Decoder_input，Decoder_output：训练标签设定）
BartForConditionalGeneration的使用细节
说文科技，做有态度的研究。
11-24 4296
详细介绍BartForConditionalGeneration的代码细节，同时给出一些疑难杂症点。
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5237
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
seq2seq 预测/测试阶段decoder的输入
Talk Is Cheap
12-01 3715
训练阶段输入 encoder_input decoder_input decoder_target 其中decoder_target是decoder_input的shift一位（如图） 预测阶段输入 encoder_input decoder_input：前一decoder的step的预测结果就会作为下一step的输入，只用输入一个<GO>（如图）
transformer的Encoder和decoder的输入
咖乐部
02-18 5949
1.Encoder的输入：enc_inputs 其一：用来生成Encoder自注意的mask，其二：在多头自注意中计算Q、K、V矩阵 2.decoder的输入：dec_inputs,enc_inputs,enc_outputs dec_inputs：其一，用来生成decoder自注意的mask矩阵。其二，计算decoder的多头自注意层的Q、K、V矩阵。 enc_inputs：用来生成decoder中编码-解码层的mask矩阵，避免受Encoder输入中padding的影响。 enc_output
基于Encoder-Decoder模式的机器翻译模型原理及实现
小鹿的爸爸
11-22 8519
基于Encoder-Decoder模式的机器翻译模型原理及实现理论背景代码实现 关键词: Encoder-Decoder, LSTM, WordEmbedding 在机器学习领域，有很多任务是把一种样式的序列映射成另外一种样式的序列，比如把一种语言翻译成另一种语言，把一段语音转换成一段文本，给一段文字生成一句话简介，或者把一张图片转换成一段对图片内容的文字描述等。这些任务都可以看作是Seq2Se...
RNN Encoder-Decoder
06-08
RNN Encoder-Decoder是一种常用的序列到序列（Seq2Seq）学习模型，用于处理输入和输出都是变长序列的问题。...因此，后来的模型如LSTM Encoder-Decoder和Transformer Encoder-Decoder等被提出，以解决这些问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值