（预测时候Decoder是怎么输入？）transformer 模型的decoder部分 带gif动图

最新推荐文章于 2025-02-20 00:30:56 发布
最新推荐文章于 2025-02-20 00:30:56 发布
阅读量1.3w 收藏 86
点赞数 35
分类专栏： NLP基础 文章标签： transformer 自然语言处理
原文链接：https://www.zhihu.com/question/337886108/answer/770243956
版权
本文详细解释了Transformer模型中Decoder在训练和预测阶段的工作方式。在训练时，由于知道目标输出，Encoder和Decoder的输入输出可以并行处理。而在预测时，由于Decoder必须依赖于前一时刻的输出来生成下一个预测，因此必须以序列方式进行。Decoder通过添加起始符号并逐步预测每个输出 Token，确保了预测过程的正确进行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

训练的时候并行，预测的时候串行
训练阶段所有encoder的正确的输入输出都是已知的，所以可以并行执行，因为我们拿ground truth进行训练，预测阶段我们并不能知道decoder会输出什么，所以只能逐个生成。
以翻译为例，训练阶段我是知道decoder最终输出是“我爱中国”，所以decoder的【输入】在训练阶段分别为（1）起始符（2）起始符+我（3）起始符+我+爱（4）起始符+我+爱+中国，因为我们知道正确的最终输出是什么，所以这4个阶段是可以并行执行的
但是预测阶段，我们是不知道decoder的输出的，所以我们只能decoder的输入只能逐步进行（1）起始符（2）起始符+decoder预测单词1（3）起始符+decoder预测单词1+decoder预测单词2，这样
在这里插入图片描述

原文链接：https://www.zhihu.com/question/337886108/answer/770243956

既安
自然语言处理
308 人赞同了该回答

创建于: 2019-11-13 18:23:37   编辑于: 2020-06-22 01:03:14

正好最近在学习Transformer，回答一下，可能有误，欢迎指正


要弄清楚Decoder的输入输出，关键在于图示三个箭头的位置：


以翻译为例：

  • 输入：我爱中国
  • 输出： I Love China

因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“L Love China”）的过程。

Decoder执行步骤

Time Step 1

    • 初始输入： 起始符</s> + Positional Encoding（位置编码）
    • 中间输入：（我爱中国）Encoder Embedding
    • 最终输出：产生预测“I”

Time Step 2

    • 初始输入：起始符</s> + “I”+ Positonal Encoding
    • 中间输入：（我爱中国）Encoder Embedding
    • 最终输出：产生预测“Love”

Time Step 3

    • 初始输入：起始符</s> + “I”+ “Love”+ Positonal Encoding
    • 中间输入：（我爱中国）Encoder Embedding
    • 最终输出：产生预测“China”

【图示】



操作：整体右移一位（Shifted Right）

细心的同学会发现论文在Decoder的输入上，对Outputs有Shifted Right操作。

Shifted Right 实质上是给输出添加起始符/结束符，方便预测第一个Token/结束预测过程。

正常的输出序列位置关系如下：

  • 0-"I"
  • 1-"Love"
  • 2-"China"

但在执行的过程中，我们在初始输出中添加了起始符</s>，相当于将输出整体右移一位（Shifted Right），所以输出序列变成如下情况：

  • 0-</s>【起始符】
  • 1-“I”
  • 2-“Love”
  • 3-“China”

这样我们就可以通过起始符</s>预测“I”，也就是通过起始符预测实际的第一个输出。

【总结】

Transformer Decoder的输入：

  • 初始输入：前一时刻Decoder输入+前一时刻Decoder的预测结果 + Positional Encoding
  • 中间输入：Encoder Embedding
  • Shifted Right：在输出前添加起始符，方便预测第一个Token

参考文献：

The Illustrated Transformer​ jalammar.github.io/illustrated-transformer/


【维度笔记】

​ 赞同 308​ ​ 49 条评论
​ 分享
​ 收藏 ​ 喜欢
​
收起 ​
继续浏览内容
知乎
发现更大的世界
打开
Chrome
继续
transformer with encoder and decoder 在翻译任务上的示意动图
Hope^_^
02-27 707
http://jalammar.github.io/images/t/transformer_decoding_1.gif http://jalammar.github.io/images/t/transformer_decoding_2.gif
NLP之Transformer：六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、统计各模块可训练参数、全流程各子模块原理详解(IE+PE→Encoder【MHSA+Add&Norm+P
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-28 4659
​ NLP之Transformer：Transformer算法的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、全流程各子模块原理详解——输入Embedding+位置编码、Encoder(MHA→PwFFNN)、Decoder(MaskeMHA→MHA→PwFFNN)、Linear+Softmax之详细攻略 目录 相关文章 一、Transformer算法拆解图：吊炸天的序列模型 二、Transformer的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)
Transformer的Decoder的输入输出都是什么
cumtchw
04-16 2523
decoder input: Encoder input(我有一只猫) + start [---I have a cat /end--- masked]decoder input: Encoder input(我有一只猫) + start I [---have a cat /end--- masked]训练时，decoder的并行计算是指 翻译第i+1个单词无需等待第i个单词的输出，因为训练时知道所有训练数输入数据的真实标签值，无需等待，可并行运算。/结束符，方便预测第一个Token/结束预测过程。
Transformer | 大白话讲解Decoder
qq_51229257的博客
02-19 1133
想象一下，你正在教一个小孩学说话。小孩一开始说话的时候，可能会说错很多词，比如他想说“我吃苹果”，结果说成了“我吃香蕉”。如果一直让他自己说下去，他可能会越说越离谱，比如“我吃香蕉，香蕉是红色的，红色的香蕉很好吃……”这就完全不对了。为了避免这种情况，你可以用“Teacher Forcing”。就是每次小孩说错的时候，你直接告诉他正确的词，让他接着说下去。比如他一开始说“我吃香蕉”，你就马上纠正他：“不对，是苹果。”然后让他接着说：“苹果是……”这样他就能一直跟着正确的方向学。
Encoder-Decoder LSTM模型对家庭用电进行多步时间序列预测(多变量输入)
颠沛的小丸子
06-11 3256
在本节中，我们将更新上一节中开发的编码器-解码器LSTM，使用8个时间序列变量中的每一个来预测下一个标准周的每日总功耗。我们将通过将每个一维时间序列作为单独的输入序列提供给模型来实现这一点。LSTM将依次创建每个输入序列的内部表示，这些输入序列将由解码器一起解释。使用多元输入有助于解决这样的问题，即输出序列是来自多个不同特征的先前时间步长的某个函数，而不只是(或包括)预测的特征。目前还不清楚在电力...
Transformer的Decoder的输入输出
weixin_38906715的博客
05-10 1686
以翻译为例：输入：我爱中国 输出： I Love China因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“L Love China”）的过程。中间输入:（“我爱中国”）在Encoder中编码结果，（我爱中国）Encoder EmbeddingDecoder执行步骤Time Step 1初始输入： 起始符</s> + ...
transformer 模型的decoder部分 带gif动图
咖乐部
12-07 2755
Decoder 也是N层堆叠的结构。被分为3个 SubLayer，可以看出 Encoder 与 Decoder 三大主要的不同： Diff_1：Decoder SubLayer-1 使用的是 “masked” Multi-Headed Attention 机制，防止为了模型看到要预测的数据，防止泄露。 Diff_2：SubLayer-2 是一个 encoder-decoder multi-head attention。 Diff_3：LinearLayer 和 SoftmaxLayer 作用于 Sub
NLP Transformer的Decoder的输入输出都是什么？每个部分都是什么? NLP中的encoder和decoder的输入是什么？
Drug discovery
07-11 8119
要弄清楚Decoder的输入输出，关键在于图示三个箭头的位置：因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“L Love China”）的过程。
Transformer 中的 Decoder 机制
实力派，无需多言！
11-07 3847
目标序列 [tensor([1., 1., 1.]), tensor([1., 1., 1., 1., 1.])]# 特征序列 [tensor([1., 1.]), tensor([1., 1., 1., 1.])]# 目标序列和特征序列之间的长度不一样，需要将原序列中和目标序列中padding后的元素mask掉。# 有效特征序列[2,4]==>[2,4,1], 有效目标序列[2,5]==>[2,5,1]# 维度扩充[seq_len,seq_len]==>[1,seq_len,seq_len]
Transformer动画讲解 - 工作原理
weixin_53880910的博客
07-29 1148
Transformer模型在多模态数据处理中同样扮演着重要角色，其能够高效、准确地处理包含不同类型（如图像、文本、音频、视频等）的多模态数据。 Transformer工作原理四部曲：Embedding（向量化）、Attention（注意力机制）、MLPs（多层感知机）和Unembedding（模型
Transformer模型学习笔记
valleria的博客
01-14 2853
Transformer模型学习笔记前言回顾参考资料解读1. High-level的看一下,transformer大致是个什么样子2.详细看下, 具体结构,以及输入都长什么样3.self-attention层4.多头机制 Multi-head5.输入语句中词的顺序(Positional Encoding)6.剩余东西7.解码器(Decoder)8.最后输出层 前言 Google研究菌曰: 在tran...
giffit:Gatsby插件和Transformer可轻松使用优化的动画GIF
05-10
giffit Gatsby插件和变形金刚可轻松使用优化的动画GIF！ gatsby-plugin-giffit和gatsby-transformer-giffit是一个Gatsby插件和转换器，为（动画化的）GIF（即将提供）提供，Gatsby自己的gatsby-plugin-sharp和gatsby-transformer-sharp会为其余图像做些什么。 对于支持它的浏览器，优化大小和转换为WebP以及将单个提取的Base64编码的GIF动画帧作为加载期间的预览已经（大部分）在工作。 前言 这是由lerna管理的 ，因此请查看以下内容的各个自述文件： 贡献 我们非常欢迎每个人都为这个小包装做出贡献！ 文档，评论，测试，代码-无论您要添加什么，都可以：）。 因此，请查看我们的文件，然后尝试一下。 提前致谢！ 去做 一大堆^^。 如有其他问题，请通过打开问题或PR告诉我：）！ 我必
多模态大模型：技术原理与实战 多模态大模型的应用图谱
AI天才研究院
08-11 779
近年来，深度学习的快速发展推动了人工智能技术的进步，特别是在计算机视觉、自然语言处理等领域取得了显著成果。然而，传统的深度学习模型通常只能处理单一模态的数据，例如图像或文本，而现实世界中的信息往往是多模态的，例如图像和文本、视频和音频等。为了更好地理解和处理现实世界的信息，多模态学习应运而生。多模态学习旨在通过整合不同模态的信息来提升模型的性能，其核心思想是将不同模态的数据映射到一个共同的语义空间，从而实现跨模态的语义理解和信息融合。生成描述图像内容的文本。根据图像内容回答问题。
【深度学习pytorch-90】Transformer 中 Decoder 的输入详解
m0_69378371的博客
02-20 459
解码器需要逐步生成目标序列中的每个词，并且每次生成时，只能看到当前时刻之前的词，这就是**“遮蔽机制”**（Masked Self-Attention）的由来。通过这种方式，解码器不仅利用了目标序列的上下文信息（自注意力），还能够依赖于编码器提供的输入序列的上下文信息，从而生成更加准确的目标序列。相结合，生成目标序列的每个词。向解码器提供了关于输入序列的信息，帮助解码器理解在生成每个目标词时，应该关注输入序列中的哪些部分。解码器的输入包括目标序列的嵌入表示、编码器的输出和目标序列的自注意力机制。
一文搞懂Transformer-decoder
lbr15660656263的博客
06-29 3544
每个步骤的输出都会在下一个时间步骤中被传递给底层解码器，解码器们会像编码器一样层层传递解码结果，并且，就像我们对编码器输入所做的那样，我们对这些解码器输入进行嵌入和添加位置编码，以指示每个单词的位置。在这里，引入了两个新的token，分别是<|im_start|>和<|im_end|>，此外，解码器一次只能接受一个token作为输入，也就是说，<|im_start|>会被作为一个输入，而"太”就是下一个预测token。根据我们的计算，解码器预测的单词是"太"，它的Token是8192和103。
Transformer中decoder的一些理解
vssyu的博客
05-07 341
Transformer中decoder的一些理解 encoder段 这个是atuoregressive。就是上一个输出是下一个输入。另外有nat的，这里不讲。 这里的第一步和seq2seq一样，输入一个begin，这个向量是人为初始化的。 这里用英译中举例，这里的输出向量是中文的字向量。这里有一个包含所有中文文字库，每个字代表一个向量，每个向量不重复。这个向量的长度是=len（文字库所有字），然后把向量中的概率对应到每个字，如：学：0.0，机：0.8。最后输出概率最大的字。 decoder有个maske
动图图解Transformer及其工程领域应用（NLP外）
热门推荐
David's Tweet
06-10 1万+
一、Transformer图解 原文：《The Illustrated Transformer》 1.1 概览 Transformer总览 1.2 Encoder步骤 1.3 Decoder步骤 完成Encoder知识的学习以及基本上知道Decoder是如何工作的之后，接下来看看他们是如何协同工作的吧。 （1）首个输出 在完成encoder阶段之后，我们开始Decoder阶段。Decoder阶段的每个步骤从输出序列（本例中为英语翻译句子）输出一个元素。 （2）冒泡输出 以下步..
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 9157
Transformer中解码器decoder的详细讲解（图文解释）
Transformer Decoder详解
To be a better man
05-24 5681
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。 关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention 但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
transformer decoder模型模型输入
最新发布
03-22
### Transformer 解码器的输入结构与数据处理 Transformer 的解码器 (Decoder) 是整个模型的重要组成部分之一，其主要功能是基于编码器的输出以及先前生成的内容逐步构建目标序列。以下是关于解码器输入结构及其数据处理方式的具体说明： #### 1. 输入构成 解码器的输入主要包括两个部分： - **来自编码器的上下文向量**：这是编码器对源序列进行编码后的连续表示形式。这些上下文向量通过多头自注意力机制被传递到解码器中[^1]。 - **前一时刻的目标序列嵌入**：在训练阶段，解码器会接收实际的目标序列作为输入；而在推理阶段，则以前一步预测的结果作为当前步的输入[^4]。 #### 2. 数据预处理过程 为了使原始文本能够适配神经网络的要求，在送入解码器之前通常需要经过以下几个步骤的数据变换操作： ##### （1）词嵌入(Token Embedding) 每一条输入语句中的单词会被映射至高维空间内的稠密向量——即所谓的“token embedding”。此步骤旨在捕捉词语间的相似性和关系特性[^2]。 ##### （2）位置编码(Positional Encoding) 由于 transformer 架构本身并不具备像 RNN 那样的天然顺序感知能力，因此引入了位置编码来显式表达 token 在句子中的相对或绝对位置信息。具体实现上可以采用正弦/余弦函数组合的方式生成固定模式的位置信号并加到对应的 token embeddings 上去[^3]。 ##### （3）掩蔽(Masking Mechanism) 对于目标端而言，在每一个时间戳 t 处只允许看到前面已经产生的 tokens 而不是未来可能出现的部分(这被称为 causal masking 或 future-timestep masking)，从而确保预测逻辑的一致性并且防止泄露未发生事件的信息给当前决策点带来干扰影响最终效果评估准确性。 #### 3. 综合流程概述 当上述准备工作完成后, 就可以把准备好的 inputs 提供给 decoder 层内部进一步计算分析: - 利用 masked multi-head attention 来关注自身历史记录； - 结合 encoder outputs 实现 cross-attention 功能获取更丰富的特征描述； 最后再经由全连接层完成分类或者回归任务得到最终结果概率分布用于选取最佳候选答案项. ```python import torch.nn as nn class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len=5000): super().__init__() pe = ... # Compute positional encoding matrix here. self.register_buffer('pe', pe) def forward(self, x): seq_len = x.size(1) pos_encoding = Variable(self.pe[:, :seq_len], requires_grad=False).to(x.device) return x + pos_encoding def generate_square_subsequent_mask(sz): mask = (torch.triu(torch.ones((sz, sz))) == 1).transpose(0, 1) mask = mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0)) return mask ``` 以上代码片段展示了如何创建位置编码模块以及因果遮罩矩阵的方法实例。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值