（预测时候Decoder是怎么输入？）transformer 模型的decoder部分 带gif动图

最新推荐文章于 2024-08-11 01:42:42 发布
最新推荐文章于 2024-08-11 01:42:42 发布
阅读量1w 收藏 68
点赞数 23
分类专栏： NLP基础 文章标签： transformer 自然语言处理
原文链接：https://www.zhihu.com/question/337886108/answer/770243956
版权
本文详细解释了Transformer模型中Decoder在训练和预测阶段的工作方式。在训练时，由于知道目标输出，Encoder和Decoder的输入输出可以并行处理。而在预测时，由于Decoder必须依赖于前一时刻的输出来生成下一个预测，因此必须以序列方式进行。Decoder通过添加起始符号并逐步预测每个输出 Token，确保了预测过程的正确进行。
摘要由CSDN通过智能技术生成

训练的时候并行，预测的时候串行
训练阶段所有encoder的正确的输入输出都是已知的，所以可以并行执行，因为我们拿ground truth进行训练，预测阶段我们并不能知道decoder会输出什么，所以只能逐个生成。
以翻译为例，训练阶段我是知道decoder最终输出是“我爱中国”，所以decoder的【输入】在训练阶段分别为（1）起始符（2）起始符+我（3）起始符+我+爱（4）起始符+我+爱+中国，因为我们知道正确的最终输出是什么，所以这4个阶段是可以并行执行的
但是预测阶段，我们是不知道decoder的输出的，所以我们只能decoder的输入只能逐步进行（1）起始符（2）起始符+decoder预测单词1（3）起始符+decoder预测单词1+decoder预测单词2，这样
在这里插入图片描述

原文链接：https://www.zhihu.com/question/337886108/answer/770243956

既安
自然语言处理
308 人赞同了该回答

创建于: 2019-11-13 18:23:37   编辑于: 2020-06-22 01:03:14

正好最近在学习Transformer，回答一下，可能有误，欢迎指正


要弄清楚Decoder的输入输出，关键在于图示三个箭头的位置：


以翻译为例：

  • 输入：我爱中国
  • 输出： I Love China

因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“L Love China”）的过程。

Decoder执行步骤

Time Step 1

    • 初始输入： 起始符</s> + Positional Encoding（位置编码）
    • 中间输入：（我爱中国）Encoder Embedding
    • 最终输出：产生预测“I”

Time Step 2

    • 初始输入：起始符</s> + “I”+ Positonal Encoding
    • 中间输入：（我爱中国）Encoder Embedding
    • 最终输出：产生预测“Love”

Time Step 3

    • 初始输入：起始符</s> + “I”+ “Love”+ Positonal Encoding
    • 中间输入：（我爱中国）Encoder Embedding
    • 最终输出：产生预测“China”

【图示】



操作：整体右移一位（Shifted Right）

细心的同学会发现论文在Decoder的输入上，对Outputs有Shifted Right操作。

Shifted Right 实质上是给输出添加起始符/结束符，方便预测第一个Token/结束预测过程。

正常的输出序列位置关系如下：

  • 0-"I"
  • 1-"Love"
  • 2-"China"

但在执行的过程中，我们在初始输出中添加了起始符</s>，相当于将输出整体右移一位（Shifted Right），所以输出序列变成如下情况：

  • 0-</s>【起始符】
  • 1-“I”
  • 2-“Love”
  • 3-“China”

这样我们就可以通过起始符</s>预测“I”，也就是通过起始符预测实际的第一个输出。

【总结】

Transformer Decoder的输入：

  • 初始输入：前一时刻Decoder输入+前一时刻Decoder的预测结果 + Positional Encoding
  • 中间输入：Encoder Embedding
  • Shifted Right：在输出前添加起始符，方便预测第一个Token

参考文献：

The Illustrated Transformer​ jalammar.github.io/illustrated-transformer/


【维度笔记】

​ 赞同 308​ ​ 49 条评论
​ 分享
​ 收藏 ​ 喜欢
​
收起 ​
继续浏览内容
知乎
发现更大的世界
打开
Chrome
继续
薛定谔的炼丹炉！
关注
  • 23
    点赞
  • 踩
  • 68
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
专栏目录
transformer with encoder and decoder 在翻译任务上的示意动图
Talk Is Cheap
02-27 656
http://jalammar.github.io/images/t/transformer_decoding_1.gif http://jalammar.github.io/images/t/transformer_decoding_2.gif
Transformer 动画讲解：数据处理的四大关键步骤
机器学习社区
05-30 1286
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。Transformer 大模型，一种基于自注意力机制的神经网络架构，已被广泛应用于各种自然语言处理任务，比如：机器翻译、文本摘要、生成问答等。从端到端的角度来看，Transformer 大模型中数据的处理流程主要包括四个阶段：首先是（Embedding），随后是。
如何最简单、通俗地理解Transformer
liuphahaha的专栏
05-21 1179
Transformer这个词汇已经不是新鲜词了，网上关于它的深入探讨和解读层出不穷。如果没有NLP算法基础的话，看着可能有点发懵，不过没关系，你并不需要完全掌握所有细节。Transformer 中的注意力机制是如何工作的Decoder部分的生成式输出具体意味着什么对于一条输入的数据，在这个复杂的架构中是如何流动和处理的，我来给大家拆解一下Transformer最经典论文【Attention Is All You Need】，没有之一。
Transformer动画讲解：数据处理的四大关键步骤
weixin_53880910的博客
07-26 916
Transformer 大模型，一种基于自注意力机制的神经网络架构，已被广泛应用于各种自然语言处理任务，比如：机器翻译、文本摘要、生成问答等。
Encoder-Decoder LSTM模型对家庭用电进行多步时间序列预测(多变量输入)
颠沛的小丸子
06-11 3158
在本节中，我们将更新上一节中开发的编码器-解码器LSTM，使用8个时间序列变量中的每一个来预测下一个标准周的每日总功耗。我们将通过将每个一维时间序列作为单独的输入序列提供给模型来实现这一点。LSTM将依次创建每个输入序列的内部表示，这些输入序列将由解码器一起解释。使用多元输入有助于解决这样的问题，即输出序列是来自多个不同特征的先前时间步长的某个函数，而不只是(或包括)预测的特征。目前还不清楚在电力...
Transformer的Decoder的输入输出
weixin_38906715的博客
05-10 1573
以翻译为例：输入：我爱中国 输出： I Love China因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“L Love China”）的过程。中间输入:（“我爱中国”）在Encoder中编码结果，（我爱中国）Encoder EmbeddingDecoder执行步骤Time Step 1初始输入： 起始符</s> + ...
Transformer的Decoder的输入输出都是什么
cumtchw
04-16 1602
decoder input: Encoder input(我有一只猫) + start [---I have a cat /end--- masked]decoder input: Encoder input(我有一只猫) + start I [---have a cat /end--- masked]训练时，decoder的并行计算是指 翻译第i+1个单词无需等待第i个单词的输出，因为训练时知道所有训练数输入数据的真实标签值，无需等待，可并行运算。/结束符，方便预测第一个Token/结束预测过程。
transformer 模型的decoder部分 带gif动图
咖乐部
12-07 2507
Decoder 也是N层堆叠的结构。被分为3个 SubLayer，可以看出 Encoder 与 Decoder 三大主要的不同： Diff_1：Decoder SubLayer-1 使用的是 “masked” Multi-Headed Attention 机制，防止为了模型看到要预测的数据，防止泄露。 Diff_2：SubLayer-2 是一个 encoder-decoder multi-head attention。 Diff_3：LinearLayer 和 SoftmaxLayer 作用于 Sub
Transformer 中的 Decoder 机制
【实力派，无需多言！】
11-07 3644
目标序列 [tensor([1., 1., 1.]), tensor([1., 1., 1., 1., 1.])]# 特征序列 [tensor([1., 1.]), tensor([1., 1., 1., 1.])]# 目标序列和特征序列之间的长度不一样，需要将原序列中和目标序列中padding后的元素mask掉。# 有效特征序列[2,4]==>[2,4,1], 有效目标序列[2,5]==>[2,5,1]# 维度扩充[seq_len,seq_len]==>[1,seq_len,seq_len]
NLP Transformer的Decoder的输入输出都是什么？每个部分都是什么? NLP中的encoder和decoder的输入是什么？
MOL
07-11 6225
要弄清楚Decoder的输入输出，关键在于图示三个箭头的位置：因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“L Love China”）的过程。
Transformer模型学习笔记
valleria的博客
01-14 2645
Transformer模型学习笔记前言回顾参考资料解读1. High-level的看一下,transformer大致是个什么样子2.详细看下, 具体结构,以及输入都长什么样3.self-attention层4.多头机制 Multi-head5.输入语句中词的顺序(Positional Encoding)6.剩余东西7.解码器(Decoder)8.最后输出层 前言 Google研究菌曰: 在tran...
giffit:Gatsby插件和Transformer可轻松使用优化的动画GIF
05-10
giffit Gatsby插件和变形金刚可轻松使用优化的动画GIF！ gatsby-plugin-giffit和gatsby-transformer-giffit是一个Gatsby插件和转换器，为（动画化的）GIF（即将提供）提供，Gatsby自己的gatsby-plugin-sharp和gatsby-transformer-sharp会为其余图像做些什么。 对于支持它的浏览器，优化大小和转换为WebP以及将单个提取的Base64编码的GIF动画帧作为加载期间的预览已经（大部分）在工作。 前言 这是由lerna管理的 ，因此请查看以下内容的各个自述文件： 贡献 我们非常欢迎每个人都为这个小包装做出贡献！ 文档，评论，测试，代码-无论您要添加什么，都可以：）。 因此，请查看我们的文件，然后尝试一下。 提前致谢！ 去做 一大堆^^。 如有其他问题，请通过打开问题或PR告诉我：）！ 我必
MATLAB算法实战应用案例精讲-【深度学习】预训练模型-Transformer
qq_36130719的博客
08-14 1007
Transformer 网络架构架构由 Ashish Vaswani 等人在 Attention Is All You Need一文中提出，并用于机器翻译任务，和以往网络架构有所区别的是，该网络架构中，编码器和解码器没有采用 RNN 或 CNN 等网络架构，而是采用完全依赖于注意力机制的架构。网络架构如下所示：Transformer改进了RNN被人诟病的训练慢的特点，利用self-attention可以实现快速并行。
NLP之Transformer：六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、统计各模块可训练参数、全流程各子模块原理详解(IE+PE→Encoder【MHSA+Add&Norm+P
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-28 4376
​ NLP之Transformer：Transformer算法的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、全流程各子模块原理详解——输入Embedding+位置编码、Encoder(MHA→PwFFNN)、Decoder(MaskeMHA→MHA→PwFFNN)、Linear+Softmax之详细攻略 目录 相关文章 一、Transformer算法拆解图：吊炸天的序列模型 二、Transformer的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)
多模态大模型：技术原理与实战 多模态大模型的应用图谱
最新发布
程序员光剑
08-11 596
近年来，深度学习的快速发展推动了人工智能技术的进步，特别是在计算机视觉、自然语言处理等领域取得了显著成果。然而，传统的深度学习模型通常只能处理单一模态的数据，例如图像或文本，而现实世界中的信息往往是多模态的，例如图像和文本、视频和音频等。为了更好地理解和处理现实世界的信息，多模态学习应运而生。多模态学习旨在通过整合不同模态的信息来提升模型的性能，其核心思想是将不同模态的数据映射到一个共同的语义空间，从而实现跨模态的语义理解和信息融合。生成描述图像内容的文本。根据图像内容回答问题。
一文搞懂Transformer-decoder
lbr15660656263的博客
06-29 1804
每个步骤的输出都会在下一个时间步骤中被传递给底层解码器，解码器们会像编码器一样层层传递解码结果，并且，就像我们对编码器输入所做的那样，我们对这些解码器输入进行嵌入和添加位置编码，以指示每个单词的位置。在这里，引入了两个新的token，分别是<|im_start|>和<|im_end|>，此外，解码器一次只能接受一个token作为输入，也就是说，<|im_start|>会被作为一个输入，而"太”就是下一个预测token。根据我们的计算，解码器预测的单词是"太"，它的Token是8192和103。
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 8478
Transformer中解码器decoder的详细讲解（图文解释）
Transformer Decoder详解
To be a better man
05-24 5507
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。 关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention 但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
动图图解Transformer及其工程领域应用（NLP外）
热门推荐
David's Tweet
06-10 1万+
一、Transformer图解 原文：《The Illustrated Transformer》 1.1 概览 Transformer总览 1.2 Encoder步骤 1.3 Decoder步骤 完成Encoder知识的学习以及基本上知道Decoder是如何工作的之后，接下来看看他们是如何协同工作的吧。 （1）首个输出 在完成encoder阶段之后，我们开始Decoder阶段。Decoder阶段的每个步骤从输出序列（本例中为英语翻译句子）输出一个元素。 （2）冒泡输出 以下步..
Transformer decoder模型
04-19
Transformer decoder模型是一种用于自然语言处理任务的神经网络模型，它是Transformer模型的一部分。Transformer decoder主要用于生成式任务，如机器翻译、文本生成等。 Transformer decoder模型由多个相同的解码器层组成，每个解码器层包含自注意力机制和前馈神经网络。自注意力机制能够对输入序列中的不同位置进行加权，以便模型能够更好地理解上下文信息。前馈神经网络则用于对自注意力机制的输出进行进一步的非线性变换。 在解码过程中，Transformer decoder模型通过逐步生成输出序列来完成任务。在每个时间步，模型会根据已生成的部分序列和编码器的输出来预测下一个词。为了提高生成的准确性，模型会使用自注意力机制来关注已生成的部分序列，并根据上下文信息进行预测。 Transformer decoder模型相比于传统的循环神经网络模型具有以下优势： 1. 并行计算：Transformer模型可以同时处理整个输入序列，而不需要依次处理每个时间步，从而加快了训练和推理的速度。 2. 长距离依赖建模：由于自注意力机制的引入，Transformer模型能够更好地捕捉输入序列中的长距离依赖关系。 3. 更好的表示能力：Transformer模型通过多层解码器和自注意力机制，能够学习到更丰富的语义表示，从而提高了模型的性能。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值