Deformable DETR——非全局self-attention(顺便补充transformer细节)

最新推荐文章于 2024-08-09 08:56:45 发布
最新推荐文章于 2024-08-09 08:56:45 发布
阅读量962 收藏 5
点赞数 1
分类专栏： Transformer 文章标签： transformer 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lt1103725556/article/details/120267113
版权
该博客探讨了一种优化Transformer中注意力矩阵的方法，避免了Q*K运算，将复杂度从O(N^2C)降低到O(NKC)。每个查询对应k个值的选择由查询通过全连接层得到的offset矩阵决定，减少了计算量并提高了效率。此外，还详细阐述了注意力矩阵、值、键和查询之间的对应关系。
摘要由CSDN通过智能技术生成

特色：

1.attention矩阵由query直接过全连接层得到，而不进行Q*K
2.attention矩阵乘value时，并不使用所有value，而是每个query(对应attention矩阵的每一行)对应k个value，因此，O(N^2C)变成了O(NKC)，减少了计算量
3.如何确定每个query对应哪些value?——由query过全连接层得到offset矩阵，通过offset得到每个query对应的value的位置
注意：
每个query对应k个value，即相当于要算出Nq组offset，每组有k套offset

说明

主要说说attention矩阵和value,key,query的对应关系
重要： 求self-attentio里面的乘法都是矩阵乘法，不要求shape相等

transformer维度说明

（1）QxK
假设Q有Nq个，K有Nk个，由于两个矩阵要做矩阵乘法，同时乘时K会转置，因此要求两者的每个单位长度相同
因此，假设Q：(Nq，d_embedding)
K也必须为(Nk，d_embedding)
相乘后attention矩阵：(Nq，Nk)
(2)attention x Value
这里便是直接相乘了，没做转置，因此要求Value的第一个维度为Nk，但第二个维度却不限制
Q：(Nq，d_embedding)
K：(Nk，d_embedding)
attention：(Nq，Nk)
V：(Nk，d_v)
result：(Nq，d_v)
在这里插入图片描述

计算说明

QxK得到每个Query对每个Key的attention
每一行对应1个Query和所有Key，做了Softmax，和为1

Value有Nk行，即相当于每一行对应一个Key的Embedding
attention x Value
即attention的一行，与Value的一列相乘，假设Value只有1列，即计算1次所有key的加权和得到1个新的result

因此，offset由Query矩阵得到合适，每行Query对应k套offset，即设置每个query去选择由哪k个Value加权成最终结果

Rainylt
关注
专栏目录
目标检测：Deformable DETR: Deformable Transformers for End-to-End Object Detection【方法解读】
sinat_39783664的博客
07-14 140
Deformable DETR: Deformable Transformers for End-to-End Object Detection论文方法解读
CVPR‘21 | Involution：超越convolution和self-attention的神经网络新算子
jacke121的专栏
03-27 2255
本文是对我们CVPR 2021被接收的文章 Involution: Inverting the Inherence of Convolution for Visual Recognition的解读，同时也分享一些我们对网络结构设计（CNN和Transformer）的理解。 这篇工作主要是我和SENet的作者胡杰一起完成的，也非常感谢HKUST的两位导师@陈启峰和张潼老师的讨论。 0 概要 我们的贡献点简单来讲： （1）提出了一种新的神经网络算子（operator或op）称...
Deformable-Attention-for-Deformable-DETR
04-14
可变形DETR的变形注意 wrt
可变形注意力（Deformable Attention）及其拓展
weixin_47748259的博客
02-23 8422
右侧的可变形卷积因为感受野的每一个点都有偏移量，造成卷积核在图片上滑动时对应的感受野的点不会重复选择，这意味着会采样9 x 9=81个采样点，比传统卷积更多。对感受野上的每一个点加一个偏移量 ，偏移的大小是通过学习得到的 ，偏移后感受野不再是个正方形，而是和物体的实际形状相匹配。传统卷积核在卷积过程中由于会存在重叠，最终输出后的感受野范围小，而可变性卷积中因为有偏移，不会有重叠，从而感受野范围更大。可变形卷积将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。
【有啥问啥】什么是Deformable Attention（可变形注意力机制）？
最新发布
Chauvin的博客
08-09 1979
稀疏注意力机制的主要思想是通过减少需要计算注意力的键点数量来降低计算复杂度。与全局注意力机制不同，稀疏注意力机制只关注输入特征中的一部分关键位置，而不是全部位置。这种选择性注意力可以显著降低计算量，并且在实际应用中能够提高计算效率。固定稀疏注意力：在这种方法中，模型预先定义一个固定的稀疏模式。例如，可以选择在每个特征点上只计算其与周围特征点的注意力，而忽略远离的特征点。这种方法简单但不够灵活，因为稀疏模式在整个训练过程中是固定的。动态稀疏注意力。
Vision Transformer with Deformable Attention
like_jmo的博客
12-08 2973
Vision Transformer with Deformable Attention
Deformable Attention学习笔记
charles_zhang_的博客
11-19 1万+
Transformer 最近在各种视觉任务中表现出卓越的表现。大的(有时甚至是全局的)接受域使Transformer模型比CNN模型具有更高的表示能力。然而，单纯扩大接受野也会引起一些问题。一方面，在ViT中使用密集注意力会导致过多的内存和计算成本，特征会受到超出感兴趣区域的无关部分的影响。另一方面，PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制建模远程关系的能力。为了解决这些问题，我们提出了一种新的Deformable 自注意模块，
[Transformer] DAT: Vision Transformer with Deformable Attention
Cherry的笔记本
01-14 3185
论文： https://arxiv.org/abs/2201.00520 代码： https://github.com/LeapLabTHU/DAT 2022年1月 1 简介 与CNN模型相比，基于Transformer的模型具有更大的感受野，擅长于建模长期依赖关系，在大量训练数据和模型参数的情况下取得了优异的性能。但是，计算成本较高，收敛速度较慢，过拟合的风险增加。 为了降低计算复杂度， Swin Transformer采用基于Window的局部注意力来限制Local Window中的注意
目标检测——【Transformer】DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION
qq_42312574的博客
11-06 2307
一共有四张特征图，前三张从ResNet的stage3、stage4、stage5中得出，第四张特征图由ResNet的stage5经过一个步距为2的3x3卷积得到。将多尺度特征的像素flatten作为目标Query。在实际考虑到计算量的问题后，这个两阶段。因为小目标的特征在高分辨率的特征图中更显著，所以多尺度的特征图当然考虑的面比较广了。：包含Self-Attention和Cross-Attention。初始化为目标的中心点预测。所以预测头实际上是在预测。：论文中使用一种迭代式输出预测框的方式。
YOLOV8注意力改进方法：Deformable Attention Transformer（附改进代码）
m0_74890428的博客
04-08 1258
们提出了一种新的可变形的自注意模块，其中以数据相关的方式选择自注意中的键-值对的位置。这种灵活的方案使自注意模块能够专注于相关区域并捕获其特征。在此基础上，我们提出了Deformable Attention Transformer，这是一种用于图像分类和密集预测任务的具有可变形注意力的通用主干模型。大量实验表明，我们的模型在综合基准上取得了持续改进的结果。
51-22 Deformable DETR: Deformable Transformers for End-to-End Object Detection 论文精读
AIgraphX
02-21 920
最近提出的DETR在展示良好性能的同时，消除了对许多手工设计的物体检测组件的需要。然而，由于Transformer注意力模块在处理图像特征映射时的局限性，它的收敛速度慢，特征空间分辨率有限。为了缓解这些问题，我们提出了可变形的DETR，其注意力模块只关注参考周围的一小部分关键采样点。可变形的DETR可以比DETR获得更好的性能(特别是在小物体上)，训练次数减少10倍。在COCO基准上的大量实验证明了我们的方法的有效性。
详解可变形注意力模块（Deformable Attention Module）
热门推荐
David's Tweet
02-20 2万+
Deformable Attention（可变形注意力）首先在2020年10月初商汤研究院的《Deformable DETR: Deformable Transformers for End-to-End Object Detection》论文中提出，在2022CVPR中《Vision Transformer with Deformable Attention》提出应用了Deformable Attention（可变形自注意力）机制的通用视觉Transformer骨干网络DAT（Deformable Att
可变形的Tranformer算法详解与源码——DAT:Vision Transformer with Deformable Attention
qq_52053775的博客
08-26 2197
和分别表示变形的键嵌入和值嵌入。具体来说，我们将采样函数（·；·）设置为一个双线性插值，使其可微：其中和索引了上的所有位置。由于g只在最接近的4个积分点上不为零，因此它简化了等式（8）到4个地点的加权平均值。与现有的方法类似，我们对q、k、v进行多头注意，并采用相对位置偏移r。注意头的输出表述为：其中对应于之前的工作[26]之后的位置嵌入，同时有一些适应。细节将在本节后面解释。每个头的特征被连接在一起，并通过Wo进行投影，得到最终的输出z为等式(3)....
Vision Transformer with Deformable Attention可变形注意力
qq_45745941的博客
02-22 829
为了获得每个参考点的偏移量，将特征映射线性投影到查询标记q=xWq，然后输入一个轻量子网络θoffset（·），生成偏移量∆p=θoffset(q)。然后根据网格形状HG×WG将其归一化到范围[−1，+1]，其中（−1，−1）表示左上角，（+1，+1）表示右下角。为了稳定训练过程，我们用一些预定义的因子s来缩放∆p的振幅，以防止过大的偏移量，即∆p←tanh（∆p）。​ 其中，g（a，b）= max（0,1−|a−b|），（rx，ry）索引在z∈RH×W×C上的所有位置。
模型实践 | 可变形的 Attention 助力 ViT 优化
weixin_66945478的博客
07-19 1201
来自清华黄高课题组的研究者们对ViT模型中的Attention机制进行改进，提出了可变形的attention机制。研究者们让所有query都跟同⼀组key和value交互，通过对每个输⼊图像学习⼀组偏移量，移动 key和value到重要的位置。这种设计不仅增强了 sparse attention 的表征能⼒，同时具有线性空间复杂度。 该项工作获得幻方AI算力资助，在大量的场景下进行了实验对比，验证了所提方法的优异性能。
Deformable CNN 和 Deformable Attention
jzwei023的博客
02-17 4930
论文地址：Deformable Convolutional Networks 针对视觉任务中，如何根据物体的尺寸、位置、视角等来调整模型的几何变化，一般传统做法有： 1）通过数据增强等方式，增加训练数据的多样性 2）使用transformation-invariant的特征和算法，比如TI-pooling (transformation-invariant pooling)和SIFT（scale invariant feature transform） 但这些方法有一些缺点：比如 1）需要假设几何
Deformable DETR 模型权重 r50-deformable-detr-checkpoint.pth
资源摘要信息: "r50-deformable-detr-checkpoint.pth 是一个深度学习模型的权重文件，该模型基于 ResNet-50 (r50) 架构，并采用了 deformable DETR（可变形目标检测 Transformer，ddetr）的算法改进。ResNet-50 是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值