Transformer - Outputs(Shifted Right)

最新推荐文章于 2024-10-20 11:33:24 发布
最新推荐文章于 2024-10-20 11:33:24 发布
阅读量2.8k 收藏 12
点赞数 17
分类专栏： 深度学习 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flyfish1986/article/details/137351800
版权
本文讨论了Transformer模型中的Outputs处理，特别是ShiftedRight操作，即在输出序列中添加起始符(sos)以调整位置，以便于批次处理。介绍了特殊token如startofsequence和padding的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformer - Outputs(Shifted Right)

flyfish

在这里插入图片描述

在这里插入图片描述
输入: “je suis etudiant”
预期输出 : “i am a student”
除了普通词汇之外，模型还引入了一些特殊token，常有的（start of sequence）、（end of sequence）以及（padding）等。
用于标记输出序列的开始，
用于表示序列的结束，
则用于填充较短序列至相同长度以便于批处理。

对Outputs有Shifted Right操作。Shifted Right 实质上是给输出添加特殊token。

正常的输出序列位置关系如下：

0-"je"
1-"suis"
2-"etudiant"

但在执行的过程中，我们在初始输出中添加了起始符，相当于将输出整体右移一位（Shifted Right），所以输出序列变成如下情况：

0-<sos>
1-"je"
2-"suis"
3-"etudiant"

在这里插入图片描述
The Illustrated Transformer

Transformer中“shifted right”是什么；Transformer模型的解码器底部的输出（output）是什么；在第一次解码器没有输出，使用 标签
ZJQ的博客
12-05 531
在Transformer的解码器中，模型需要逐个生成目标序列的单词。为了实现这一点，模型在每一步的输入中不仅包括编码器的输出，还包括之前已经生成的输出序列，但是这个序列会被整体右移一位。这样做的目的是为了在预测下一个单词时，模型只能看到之前生成的单词，而不能看到未来的单词。
Outputs (shifted right)是什么；Input，Input Embedding，Output ，Output Embedding举例说明
ZJQ的博客
11-03 297
在实际的数据流转过程中，Input 和 Output 是模型的输入和输出数据，而 Input Embedding 和（可能的）Output Embedding 是将这些数据转换为模型可以理解和处理的数值形式的过程。在自然语言处理中，这通常涉及将文本转换为嵌入向量并进行相应的处理。
【手撕Transformer】Transformer输入输出细节以及代码实现（pytorch）
热门推荐
顾道长生的科研笔记
10-29 3万+
文章目录举例讲解transformer的输入输出细节encoderpaddingPadding MaskPositional EmbeddingattentionFeedForwardadd/Normencoder输入输出decoderSequence Mask测试Transformer pytorch代码实现数据预处理Positional EncodingPad MaskSubsequence MaskScaledDotProductAttentionMultiHeadAttentionFeedFor.
举个例子讲下transformer的输入输出细节及其他
anshiquanshu的专栏
01-08 1万+
最近由于工作需要，将transformer的相关资料看了下，网上很多关于transformer的讲解，但是很多都只讲了整个架构，涉及到的细节都讲的不是很清楚，在此将自己关于某些细节的体 会写出来，大家一起学习探讨下。 下图是transformer的原始架构图，就不细讲了。 主要讲下数据从输入到encoder到decoder输出这个过程中的流程（以机器翻译为例子）： 1.encoder 对于机器翻译来说，一个样本是由原始句子和翻译后的句子组成的。比如原始句子是： “我爱机器学习”，那么翻译后是 ’
轻松理解 Transformers (4) ：Decoder 和 Output 部分
Baihai_IDP的博客
11-13 546
文章首先指出，Transformers属于编码器-解码器架构，输入数据通过编码器转换为数学表征，再输入解码器生成最终输出。接着又以Teacher Forcing为线索，剖析了带Mask的Decoder是如何基于Encoder 的输出，一步步生成目标语言的。在描述每个组件的作用时，作者都会补充通俗的示例或类比，帮助读者更好地理解 Transformers 。
重新梳理Attention Is All You Need（Transformer模型），从输入到输出
Ankie资深技术项目经理
03-25 1571
Transformer模型已经成为当前所有自然语言处理NLP的标配，如GPT，Bert，Sora，LLama，Grok等。假如《Attention Is All You Need》类比为爱因斯坦的侠义相对论，Transformer模型则堪称E=MC^2之等量公式。 看过论文之后，我们按照输入输出顺序重新梳理一遍这个模型：
transformer细节
hellozhxy的博客
06-07 653
因此对于每一个查询语句Q，我们取出。
Hugging Face基础：简单讲解Transformer模型和结构，小白也能看懂，每个词都给你解释清楚了！
2401_86205687的博客
07-22 1580
Transformer基本架构
初识Transformer
MusicDancing的博客
11-04 629
参考：【NLP】Transformer模型原理详解 - 知乎 Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合RNN和attention的模型。之后google又提出了解决Seq2Seq问题的Transformer模型，用全attention的结构代替了lstm，在翻译任务上取得了更好的成绩。 Attention原理： NLP中的Attention原理和源码解析 - 知乎 Tensorflow版B...
Transformer, Transformer-XL, XLNet: 追溯XLNet的前世今生
luv_dusk 的博客
07-03 5027
正当 GPT-2 还拿着 15 亿参数的模型吊着人们的胃口时，XLNet 带着开源的代码和 20 项 SOTA 的成绩悄悄发布了。从 BERT 到 XLNet，大一统预训练模型的成功，无疑昭示着行业的快速进步。现在是最好的时机。回到正题，本文虽篇幅较长，但能提供不一样的视角，帮你迅速理清模型的细节。废话不多说，笔者这就将带你快速品读，XLNet 诞生之路上最重要的三篇论文： - ***Attention Is All You Need*** (12 Jun. 2017) - ***Transformer-X
Transformer结构笔记
m0_46614636的博客
03-26 772
Transformer本身是一个典型的encoder-decoder模型。 一、Encoder端&Decoder端总览 简单来看一个编码器和一个解码器的作用。 Encoder端由N（原论文中N=6）个相同的大模块堆叠而成。 Decoder端同样由N（原论文中N=6）个相同的大模块堆叠而成。 但是两个模块的组成有所不同。 左：Encoder 右：Decoder Encoder端每个大模块又由 两 个子模块构成，这两个子模块分别为多头self-attention模块，以及一个前馈神经网络模块。
Transformer Decoder的输入
qq_44722189的博客
12-18 2063
大部分引用参考了既安的https://www.zhihu.com/question/337886108/answer/893002189这篇文章，个人认为写的很清晰，此外补充了一些自己的笔记。 弄清楚Decoder的输入输出，关键在于图示三个箭头的位置： 以翻译为例： 输入：我爱中国 输出： I Love China 因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“I Love China”）的过程。 Decoder执行步骤 T
Transformer详解（李沐大神文字版，干货满满！）
qq_42068614的博客
03-09 6164
使用图和文字记录下了李沐大神的Transformer论文逐段精度视频，方便大家后续快速复习。
transformer学习笔记
bingo_csdn_的博客
11-14 1970
这里写自定义目录标题1、模型架构1.1 seq2seq结构1.2 注意力机制2、transformer各部分介绍2.1 encoder的输入欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 1、
Transformer系列：图文详解Decoder解码器原理
2401_85375186的博客
08-08 7510
理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。
从0开始的Transformer架构学习：Encoder-Decoder（编码器-解码器）框架流程与相关知识
Vessel_Liu的博客
10-20 1万+
整个文章的内容涉及Encoder、Decoder的流程以及其中的相关知识点包括：残差链接、层标准化、全连接层、注意力机制等。书写的内容均是我查阅相关资料后的自我理解，受限于学业水平，这其中或有些许错误，或有解释不清的地方，还望指出；如有更好的想法，也欢迎你在评论区交流，一同进步。
transformers5--t5模型中encoder与decoder内容不同解读
小姑仔的博客
11-26 7946
t5模型中encoder与decoder内容不同查看transformers库之中的encoder和decoder部分内容的不同查看没有key_value_states以及query_length的情况下，T5Attention模型的调用过程 查看transformers库之中的encoder和decoder部分内容的不同 仔细观察发现，t5selfattention和t5crossattention的区别在于t5crossattention之中多加入了两个参数 t5selfattention的内容 sel
对Transformer的一些理解
ooblack的博客
07-02 1248
Transformer学习笔记
Transformer五部曲
小岁月太着急
05-13 9579
Transformer：没错，你只需要注意力机制 首先先说说自己对 Transformer 理解，我认为它最大的改进有如下几点： 提出用注意力机制来直接学习源语言内部关系和目标语言内部关系，而不是像之前用 RNN 来学； 对存在多种不同关系的假设，而提出多头 (Multi-head) 注意力机制，有点类似于 CNN 中多通道的概念； 对词语的位置，用了不同频率的 sin 和 cos 函...
vedio swin transformer
最新发布
01-19
### Video Swin Transformer Architecture and Implementation The **Swin Transformer**, initially designed for image processing tasks, has been extended to video understanding through hierarchical vision transformers that utilize shifted windows. In the context of videos, this model captures spatiotemporal information effectively while maintaining computational efficiency. #### Spatial-Temporal Modeling with Shifted Windows In video applications, the core idea remains similar but extends into three dimensions—height, width, and time—to form cubes instead of patches used in images. The shifting mechanism alternates between different window positions across frames during each layer transformation process[^1]. This design allows local modeling within non-overlapping windows at one stage followed by cross-window connections via shifted windows in subsequent stages, ensuring both locality sensitivity and global receptive fields are captured efficiently without excessive computation cost. #### Hierarchical Feature Extraction Process For handling long-range dependencies over space-time volumes: - Initially divides input sequences into small cubic regions. - Applies self-attention mechanisms inside these localized areas independently. - Gradually merges outputs from previous layers' smaller units into larger ones as depth increases. Such hierarchy facilitates multi-scale representation learning critical for complex motion patterns recognition found commonly within moving pictures or clips. ```python import torch.nn as nn from timm.models.layers import DropPath, trunc_normal_ class WindowAttention(nn.Module): """Window based multi-head self attention (W-MSA) module with relative position bias.""" def __init__(self, dim, window_size, num_heads, qkv_bias=True, attn_drop=0., proj_drop=0.): super().__init__() ... def swin_transformer_v2(img_size=(224, 224), patch_size=(4, 4), in_chans=3, embed_dim=96, depths=[2, 2, 6, 2], num_heads=[3, 6, 12, 24], window_size=7, mlp_ratio=4., ... ): """ Constructs a Swin Transformer V2 model specifically tailored towards video data. Adjustments include adapting parameters like img_size to accommodate frame dimensions along temporal axis when necessary. """ ``` #### Parallelization Benefits Over Traditional Methods Compared against traditional methods such as LSTMs which rely heavily on sequential computations limiting their scalability potential especially under high-dimensional inputs; architectures built upon Transformers offer significant advantages due to inherent parallelizability properties allowing faster training times alongside better performance metrics achieved overall[^2].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二分掌柜的

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值