Deformable Attention Module

已于 2023-12-29 14:44:57 修改
阅读量469 收藏 9
点赞数 7
分类专栏： 深度学习 算法 BEVFormer 文章标签： pytorch 深度学习 人工智能
于 2023-12-28 17:38:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22790615/article/details/135274467
版权
Deformable Attention Module 结合DCN和自注意力，通过确定参考点、计算偏移量和注意力权重矩阵，实现输入特征图附近点的高效采样。在Encoder中，参考点基于位置编码的特征图生成；Decoder中，通过object queries直接获取。偏移量通过线性层计算，注意力权重矩阵由线性层和softmax得到。
摘要由CSDN通过智能技术生成

介绍

Deformable Attention Module主要思想是结合了DCN和自注意力，目的是为了在输入特征图上的参考点(reference point)的附近只采样少数点(deformable detr设置为3个点)来作为注意力的key 。主要包含步骤：
（1）确定reference point。
（2）确定每个reference point的偏移量(offset)。
（3）确定注意力权重矩阵A_{mqk}。

1. 确定reference point

在Encoder和Decoder中实现方法不太一样，接下来详细叙述。

在Encoder部分，输入的Query Feature {z_{q}} 为加入了位置编码的特征图(x+position)， value (x)的计算方法只使用了 x 而没有位置编码(value_proj函数)。
(1) reference point的计算调用的函数get_reference_points，里面用了torch.meshgrid，以及torch.stack方法，堆叠生成2D参考网格。有一个细节就是参考点归一化到0和1之间，因此取值的时候要用到双线性插值方法。
而在Decoder中，参考点的获取方法为object queries，直接通过一个nn.Linear得到每个对应的refere

最低0.47元/天 解锁文章
VV1805
关注
  • 7
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YOLOV8注意力改进方法：Deformable Attention Transformer（附改进代码）
m0_74890428的博客
04-08 1109
们提出了一种新的可变形的自注意模块，其中以数据相关的方式选择自注意中的键-值对的位置。这种灵活的方案使自注意模块能够专注于相关区域并捕获其特征。在此基础上，我们提出了Deformable Attention Transformer，这是一种用于图像分类和密集预测任务的具有可变形注意力的通用主干模型。大量实验表明，我们的模型在综合基准上取得了持续改进的结果。
优化改进YOLOv5算法之Deformable Attention，有效提升检测效果，秒杀SE、CBAM和CA等注意力机制
qq_40716944的博客
01-11 640
对于 Attention 中的多个端口来说，首先将这些端口分为一定的组，比如 24 个端口 6 组，那么每组的 4 个端口将共享同一种位置偏差，使用的预测维度即分配给这 4 个端口的维度，不同组预测的位置偏差将不一样。最后还会加上一个相对位置插入，正常情况下这个位置矩阵大小为 �(2�−1)×(2�−1) ，但是考虑到存在处于任意位置的偏差，这个位置矩阵依然会做一个连续的差值 (Relative Displacements) 真尴尬我不知道这个英文我理没理解对......
详解可变形注意力模块（Deformable Attention Module）
热门推荐
David's Tweet
02-20 1万+
Deformable Attention（可变形注意力）首先在2020年10月初商汤研究院的《Deformable DETR: Deformable Transformers for End-to-End Object Detection》论文中提出，在2022CVPR中《Vision Transformer with Deformable Attention》提出应用了Deformable Attention（可变形自注意力）机制的通用视觉Transformer骨干网络DAT（Deformable Att
可变形注意力（Deformable Attention）及其拓展
weixin_47748259的博客
02-23 6579
右侧的可变形卷积因为感受野的每一个点都有偏移量，造成卷积核在图片上滑动时对应的感受野的点不会重复选择，这意味着会采样9 x 9=81个采样点，比传统卷积更多。对感受野上的每一个点加一个偏移量 ，偏移的大小是通过学习得到的 ，偏移后感受野不再是个正方形，而是和物体的实际形状相匹配。传统卷积核在卷积过程中由于会存在重叠，最终输出后的感受野范围小，而可变性卷积中因为有偏移，不会有重叠，从而感受野范围更大。可变形卷积将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。
【DETR】2、Deformable DETR | 使用多尺度可变形 attention 的方式来解决 DETR 收敛慢和小目标不好的问题
呆呆的猫的博客
10-26 4547
本文主要介绍 Deformable DETR
Deformable DETR
weixin_43981952的博客
12-21 6122
目录一、Deformable Convolution原理分析Deformable DETR 原理分析Deformable Attention ModuleMulti-scale Deformable Attention Module 一、Deformable Convolution原理分析 Deformable Convolution 将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。 传统的CNN卷积核是固定大小的，只能在固定为位置对固定输入特征进行采样， 为了
DeformableAttention的原理解读和源码实现
zwhdldz的博客
03-17 2795
多尺度特征图尺寸记录:spatial_shapes:([[180, 180],[ 90, 90],[ 45, 45],[ 23, 23]])sampling_locations原本为采样点位置,范围为[0,1),为了适应F.grid_sample采样函数的用法,调整为[-1,1)分布,意思是,900个query在特征图(32,level_h,level_w)中各采样4个点,采样结果为900个对应的4个通道为32的像素特征.reshape为正常图像torch.Size([b*8,32,180,180]
关于MSDeformableAttention的理解与代码解读
最新发布
Jeremy_lf的博客
07-07 793
是一个自定义的类，代表“多尺度可变形注意力模块”（Multi-Scale Deformable Attention Module）
Transformer系列：Detection--＞ Deformable DETR (ICLR2021)
weixin_34992700的博客
06-10 1413
文章地址：https://arxiv.org/pdf/2010.04159.pdf
Deformable Attention学习笔记
charles_zhang_的博客
11-19 9615
Transformer 最近在各种视觉任务中表现出卓越的表现。大的(有时甚至是全局的)接受域使Transformer模型比CNN模型具有更高的表示能力。然而，单纯扩大接受野也会引起一些问题。一方面，在ViT中使用密集注意力会导致过多的内存和计算成本，特征会受到超出感兴趣区域的无关部分的影响。另一方面，PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制建模远程关系的能力。为了解决这些问题，我们提出了一种新的Deformable 自注意模块，
Deformable DETR源码解读
weixin_43702653的博客
08-04 6641
Deformable DETR源码解读
【阅读笔记】Deformable DETR: Deformable transformers for end-to-end object detection
zzPaulmn的博客
08-13 3084
阅读笔记-Deformable DETR: Deformable transformers for end-to-end object detection
Vision Transformer with Deformable Attention
weixin_42714574的博客
01-18 6539
DAT title: Vision Transformer with Deformable Attention 论文：https://arxiv.org/abs/2201.00520 代码：https://github.com/LeapLabTHU/DAT Introduction ​ 在ViT中使用密集的注意力会导致内存和计算成本过高，特征会受到超出兴趣区域的不相关部分的影响。另一方面，在PVT或Swin Transformer 中采用的稀疏注意里力是数据不可知的，可能会限制建模长期关系的能力。 ​
模型实践 | 可变形的 Attention 助力 ViT 优化
weixin_66945478的博客
07-19 1156
来自清华黄高课题组的研究者们对ViT模型中的Attention机制进行改进，提出了可变形的attention机制。研究者们让所有query都跟同⼀组key和value交互，通过对每个输⼊图像学习⼀组偏移量，移动 key和value到重要的位置。这种设计不仅增强了 sparse attention 的表征能⼒，同时具有线性空间复杂度。 该项工作获得幻方AI算力资助，在大量的场景下进行了实验对比，验证了所提方法的优异性能。
Deformable DETR学习笔记
qq_41439608的博客
06-29 8061
Deformable DETR学习笔记 1.DETR的缺点 (1)训练时间极长：相比于已有的检测器，DETR需要更久的训练才能达到收敛(500 epochs),比Faster R-CNN慢了10-20倍。 (2)DETR在小物体检测上性能较差，现存的检测器通常带有多尺度的特征，小物体目标通常在高分辨率特征图上检测，而DETR没有采用多尺度特征来检测，主要是高分辨率的特征图会对DETR增加不可接受的计算复杂度。 为了解决这两个问题，所以提出了Deformable DETR。 2.TransformerCV的
【综述】神经网络中不同类型的卷积层
pprp的博客
03-14 1121
在计算机视觉中，卷积是最重要的概念之一。同时研究人员也提出了各种新的卷积或者卷积组合来进行改进，其中有的改进是针对速度、有的是为了加深模型、有的是为了对速度和准确率的trade-off。本文将简单梳理一下卷积神经网络中用到的各种卷积核以及改进版本。文章主要是进行一个梳理，着重讲其思路以及作用。 文章目录1. Convolution2. 1x1/Pointwise Convolutions3. Sp...
[Transformer] DAT: Vision Transformer with Deformable Attention
Cherry的笔记本
01-14 3081
论文： https://arxiv.org/abs/2201.00520 代码： https://github.com/LeapLabTHU/DAT 2022年1月 1 简介 与CNN模型相比，基于Transformer的模型具有更大的感受野，擅长于建模长期依赖关系，在大量训练数据和模型参数的情况下取得了优异的性能。但是，计算成本较高，收敛速度较慢，过拟合的风险增加。 为了降低计算复杂度， Swin Transformer采用基于Window的局部注意力来限制Local Window中的注意
Deformable Attention
10-07
它最早在商汤研究院的《Deformable DETR: Deformable Transformers for End-to-End Object Detection》论文中被提出，并在后续的《Vision Transformer with Deformable Attention》中应用于通用视觉Transformer骨干...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值