Transformer-Encoder & Decoder细节详解（以DETR为例）

已于 2022-03-06 16:27:59 修改
阅读量9.8k 收藏 10
点赞数 13
分类专栏： 视觉检测图像分割干货 文章标签： transformer Add Norm FFN Encoder 位置编码
于 2022-01-08 22:17:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42308217/article/details/122382585
版权
本文详细探讨Transformer的Encoder和Decoder，包括Add & Norm的目的、Positional Encoding的原理与进化、FFN的作用以及Decoder中的Object query机理。分析了为何在Transformer中不适用BN，并解释了Positional Encoding如何处理不同长度的序列，以及Feed Forward层增强表示能力的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

由于讲解如何搭建Encoder和Decoder的文章有很多，因此本节将围绕为什么做分析而非怎么做。主要涉及到几个细节问题：Encoder中Add操作及目的、Norm操作及目的、不用Norm可不可以、为什么将BN不用于transformer任务、Feed Forward操作及目的、Positional Encoding的原理和进化、Decoder中Object query机理。

Encoder分解之Add & Norm

  • Add操作
了解本专栏 订阅专栏 解锁全文
Transformer架构原理详解：编码器（Encoder）和解码器（Decoder）
AI大模型应用之禅
12-24 1479
Transformer, 编码器, 解码器, 自注意力机制, 多头注意力, 位置编码, 序列到序列, 自然语言处理 1. 背景介绍 近年来，深度学习在自然语言处理（NLP）领域取得了显著进展，其中Transformer架构扮演着至关重要的角色。自2017年谷歌发布了基于Transfo
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
weixin_41686431的博客
03-26 6984
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其进行了很好的中文翻译： 中文版：The Illustrated Transformer【译】 Google AI blog写的一篇简述可以作为科普文： Transformer: A Novel Neural Network Architecture for Language Understanding 李宏毅
【速写】Transformer-encoder-decoder深度解析
最新发布
梦想破三的奔三狗
04-05 897
温故而知新
DETR个人学习笔记（四）之Transformer的Decoder
weixin_44303979的博客
05-23 1585
本文如无特殊说明，所有文字均匹配的是文字下方的第一张图片。 接下来来介绍Teansformer的Decoder。 对于Decoder，如果把中间部分拿掉的话（下图画红圈部分），它和Encoder block就比较相似了。中间是一个Multi-Head Attention。之前有介绍过，这是Decoder和Encoder之间的Cross Attention。其中K、V来自于Encoder，而Q来自于Decoder。 另外Decoder和Encoder的不同还有，Decoder的Multi-Head Atten
【Transformer系列（1）】encoder（编码器）和decoder（解码器）
热门推荐
路人贾的博客
04-15 4万+
一文带你学会encoder-decoder框架
Transformer 模型介绍（四）——编码器 Encoder 和解码器 Decoder
金陵城中夜将沉的博客
02-16 4292
上篇中讲完了自注意力机制 Self-Attention 和多头注意力机制 Multi-Head Attention，这是 Transformer 核心组成部分之一，在此基础上，进一步展开讲一下编码器-解码器结构（Encoder-Decoder Architecture）
Transformer模型-7- Decoder
aidashuju的博客
09-21 1451
将所有的Q (Decoder端所有的 token) 去和encoder的输出的数据一起计算，来衡量他们之间的相关度，最后结合Value生成Attention。
人工智能(pytorch)搭建模型28-基于Transformer的端到端目标检测DETR模型的实际应用，DETR的原理与结构
微学AI的博客
04-25 1436
DETR是一款基于Transformer的端到端目标检测模型，由Facebook AI研发，革新了传统检测方法。它摒弃了区域提议和锚点生成，直接从图像中预测位置和类别，通过全局特征捕获和解码器的自注意力机制进行目标生成与定位。其核心是将检测视为集束搜索问题，简化了流程并提升效率。虽然计算成本较高，适用于大规模数据和高分辨率场景有限，但DETR展示了深度学习在目标检测领域的创新潜力，预示着未来技术的突破。
Transformer学习之DETR
超爱吃小蛋糕的66的博客
08-05 1323
首次将Transformer拓展到目标检测领域中，DETR抛弃了几乎所有的前处理和后处理操作，不需要进行设计锚框来提供参考，或者利用非极大值（NMS）抑制来筛除多余的框，使模型做到了真正的End-to-End检测，即对于输入的任意图像统一输出N个带有类别和置信度的Box结果。沐神论文精读搞懂DEtection TRanformer(DETR)详细解读DETRTransformer中的position encoding。
GLID: Pre-training a Generalist Encoder-Decoder Vision Model
qq_41833478的博客
04-22 1342
GLID论文精读
transformer的Encoder和decoder的输入
咖乐部
02-18 6090
1.Encoder的输入：enc_inputs 其一：用来生成Encoder自注意的mask，其二：在多头自注意中计算Q、K、V矩阵 2.decoder的输入：dec_inputs,enc_inputs,enc_outputs dec_inputs：其一，用来生成decoder自注意的mask矩阵。其二，计算decoder的多头自注意层的Q、K、V矩阵。 enc_inputs：用来生成decoder中编码-解码层的mask矩阵，避免受Encoder输入中padding的影响。 enc_output
人人都能听懂的大白话 Transformer 技术原理
musicml的博客
02-14 1612
▼最近直播超级多，预约保你有收获今晚直播：《开发框架应用案例实战》—1—Transformer 网络架构剖析几乎所有主流的大模型都是基于 Transformer 网络架构构建的，Transformer 的重要性不言而喻。大模型可以类比人类的大脑，那么 Transformer 就可以类比人类大脑中的神经网络结构。Transformer 网络结构最核心的组成部分为：编码器（Encoder）和解码器（...
Transformer 系列三：Encoder编码器和Decoder解码器
weixin_44174227的博客
08-29 8205
Transformer使用了"Encoder-Decoder" 编码器-解码器的结构，这种结构被广泛应用于处理序列到序列（seq2seq）的学习任务中。这种结构由编码器和解码器两大部分组成，编码（encoding）是一个模式提取的过程，将输入句子的特征提取出来，存储在一个中间隐状态空间（hidden state）；而解码（decoding）则是将encoder提取出来的特征进行重建，解码成为我们期望的输出。如翻译任务：将输入的英语经过编码器编码成中间表示，再使用解码器将这个中间表示解码成中文。
Transformer Decoder
weixin_42418688的博客
11-15 1万+
本文主要讲解Transformer中的Decoder部分，后续其他部分会逐渐补充 首先，我们先定义几个常用的变量（以翻译为例）： emb_dim:表示词嵌入的维度 input_length:表示输入单词的个数 target_length:表示翻译出单词的个数 + 1，为什么会加1会在后面详细说明 vocab_size:表示所有单词的总个数，其实就是词库的意思 本文主要从以下三个方面进行介绍： 1.transformer主要解决的的问题 2.信息在transformer中的流动 3.Deco
【Transformer】detr之decoder逐行梳理(三)
胡侃有料的博客
04-23 1767
detr之decoder逐行梳理。
Encoder-Decoder、Seq2Seq、Attention 以及Transformer之间的关系
Wisimer
02-23 3126
一、Encoder-Decoder 模型 首先我们来了解一下Encoder-Decoder 模型， Encoder-Decoder 主要是 NLP 领域里的概念，它并不特值某种具体的算法，而是一类算法的统称，称之为Encoder-Decoder结构更合适。Encoder-Decoder 算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务。Encoder-Decoder 这个框架很好...
RT-DETR的decoder
03-08
### RT-DETR Decoder 实现与解释 #### 解码器架构概述 解码器作为RT-DETR模型的关键组件之一，在实时目标检测任务中扮演着重要角色。该模块负责处理来自编码器的特征表示，并将其转换为目标框预测和其他属性信息。具体来说，解码器通过多轮迭代查询机制来逐步优化对象位置估计精度[^1]。 #### 主要组成部分 1. **Transformer Decoder Layers** Transformer解码层由多个子层构成，每个子层内部包含了自注意力机制(self-attention)，交叉注意力(cross-attention)以及前馈神经网络(FFN)[^1]。这些操作共同作用于输入序列上，从而增强了模型对于不同尺度物体的理解能力。 2. **Query Embeddings** 查询嵌入(query embeddings)用于初始化解码过程中所需的初始状态向量。它们通常是从预定义的一组可学习参数中选取而来，并在整个训练期间不断调整以适应特定数据集特性。 3. **Positional Encoding** 为了使模型能够感知到空间关系，会在输入张量之上叠加位置编码(positional encoding)。这有助于保持图像内各像素间的相对距离不变形，进而提高最终输出的质量。 4. **Prediction Heads** 预测头部(prediction heads)则专注于从经过变换后的隐藏表征里提取有用的信息并转化为具体的边界框坐标、类别标签等形式。此过程涉及到回归(regression)和分类(classification)两种类型的计算逻辑。 #### PyTorch代码实现示例 以下是基于PyTorch框架的一个简化版RT-DETR解码器实现： ```python import torch.nn as nn from transformers import DetrConfig, DetrModel class RTDetrDecoder(nn.Module): def __init__(self, config: DetrConfig): super().__init__() self.decoder_layers = nn.TransformerDecoder( decoder_layer=nn.TransformerDecoderLayer(d_model=config.hidden_size, nhead=config.num_heads), num_layers=config.dec_layers) self.query_embed = nn.Embedding(config.num_queries, config.hidden_size) self.pos_encoder = PositionEmbeddingSine(num_pos_feats=config.hidden_size // 2) # Prediction Head for bounding box regression and classification self.bbox_head = MLP(input_dim=config.hidden_size, hidden_dim=config.mlp_hidden_dim, output_dim=4, num_layers=3) self.class_head = nn.Linear(in_features=config.hidden_size, out_features=num_classes) def forward(self, memory, mask=None): bs = memory.shape[0] query_embeds = self.query_embed.weight.unsqueeze(1).repeat(1, bs, 1) pos_encodings = self.pos_encoder(memory) tgt = torch.zeros_like(query_embeds) hs = self.decoder_layers(tgt=tgt, memory=memory, memory_key_padding_mask=mask, pos=pos_encodings, query_pos=query_embeds) outputs_class = self.class_head(hs[-1]) outputs_coord = self.bbox_head(hs[-1]).sigmoid() return {'pred_logits': outputs_class, 'pred_boxes': outputs_coord} ``` 上述代码片段展示了如何构建一个基本版本的RT-DETR解码器类`RTDtrDecoder`及其主要方法`forward()`。其中涉及到了几个核心概念和技术细节，如transformer解码层的设计思路、query embedding的作用方式等。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刚哥吧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值