论文阅读——Vision Transformer with Deformable Attention

最新推荐文章于 2025-01-08 03:00:00 发布
最新推荐文章于 2025-01-08 03:00:00 发布
阅读量1.6k 收藏 9
点赞数 25
分类专栏： 论文 文章标签： 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43575791/article/details/134363745
版权
文章介绍了一种新的视觉注意力模型——可变形注意力，它通过学习性偏移在网络中共享关键点和值，有效降低空间复杂度，特别是在处理大型特征图时。与DeformableDETR不同，可变形注意力作为特征提取器，能够在视觉任务中提高性能，通过可视化结果展示了其在定位目标对象和聚焦关键区域的能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Vision Transformer with Deformable Attention

多头自注意力公式化为：

第l层transformer模块公式化为：

在Transformer模型中简单地实现DCN是一个non-trivial的问题。在DCN中，特征图上的每个元素都单独学习其偏移，其中H×W×C特征图上3×3可变形卷积的空间复杂度为9HW C。如果我们在注意力模块中直接应用相同的机制，空间复杂度将急剧上升到NqNkC，其中Nq，Nk是查询和密钥的数量，通常具有与特征图大小HW相同的比例，带来近似双二次复杂度。尽管Deformable DETR已经通过在每个尺度上设置较低数量的密钥（Nk＝4）来减少这种开销，并且作为检测头工作得很好，但由于信息的不可接受的丢失，在骨干网络中处理如此少的密钥是不好的（见附录中的详细比较）。同时

最低0.47元/天 解锁文章
DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention
AI浩
10-14 1151
带有各种注意力模块的视觉Transformer在视觉任务上已表现出卓越的性能。虽然使用稀疏自适应注意力（如在DAT中）在图像分类任务中取得了显著成果，但在对语义分割任务进行微调时，由可变形点选择的关键值对缺乏语义相关性。BiFormer中的查询感知稀疏注意力旨在使每个查询关注前kkk个路由区域。然而，在注意力计算过程中，所选的关键值对受到过多不相关查询的影响，从而降低了对更重要查询的关注度。
可变形的Tranformer算法详解与源码——DAT:Vision Transformer with Deformable Attention
qq_52053775的博客
08-26 2426
和分别表示变形的键嵌入和值嵌入。具体来说，我们将采样函数（·；·）设置为一个双线性插值，使其可微：其中和索引了上的所有位置。由于g只在最接近的4个积分点上不为零，因此它简化了等式（8）到4个地点的加权平均值。与现有的方法类似，我们对q、k、v进行多头注意，并采用相对位置偏移r。注意头的输出表述为：其中对应于之前的工作[26]之后的位置嵌入，同时有一些适应。细节将在本节后面解释。每个头的特征被连接在一起，并通过Wo进行投影，得到最终的输出z为等式(3)....
清华提出DAT：具有可变形注意力的视觉Transformer
阿木寺的博客
01-05 8209
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达Vision Transformer with Deformable Attention论文：https://arxiv...
DAT：Vision Transformer with Deformable Attention——可变形注意力视觉Transformer
最新发布
Together_CZ的博客
01-08 2159
DAT：Vision Transformer with Deformable Attention——可变形注意力视觉Transformer
Vision Transformer with Deformable Attention
weixin_42714574的博客
01-18 6918
DAT title: Vision Transformer with Deformable Attention 论文：https://arxiv.org/abs/2201.00520 代码：https://github.com/LeapLabTHU/DAT Introduction ​ 在ViT中使用密集的注意力会导致内存和计算成本过高，特征会受到超出兴趣区域的不相关部分的影响。另一方面，在PVT或Swin Transformer 中采用的稀疏注意里力是数据不可知的，可能会限制建模长期关系的能力。 ​
Vision Transformer with Deformable Attention可变形注意力
qq_45745941的博客
02-22 962
为了获得每个参考点的偏移量，将特征映射线性投影到查询标记q=xWq，然后输入一个轻量子网络θoffset（·），生成偏移量∆p=θoffset(q)。然后根据网格形状HG×WG将其归一化到范围[−1，+1]，其中（−1，−1）表示左上角，（+1，+1）表示右下角。为了稳定训练过程，我们用一些预定义的因子s来缩放∆p的振幅，以防止过大的偏移量，即∆p←tanh（∆p）。​ 其中，g（a，b）= max（0,1−|a−b|），（rx，ry）索引在z∈RH×W×C上的所有位置。
【YOLOv8改进[注意力]】YOLOv8添加DAT(Vision Transformer with Deformable Attention)助力涨点
静谧、淡雅
04-22 2349
YOLOv8添加DAT注意力机制(Vision Transformer with Deformable Attention)助力涨点
（八十三）：Vision Transformer with Deformable Attention
Wangzx的博客
03-27 394
标题Abstract1. Introduction2. Related Work3. Method4. Experimental Setup5. Evaluation Results6. Conclusions 出处： 代码： 题目： 主要内容： Abstract 1. Introduction 2. Related Work 3. Method 4. Experimental Setup 5. Evaluation Results 6. Conclusions ...
DAT：Vision Transformer with Deformable Attention
qq_45122568的博客
06-30 1806
这篇文章是相对于Swin-Transformer和PVT进行改进，加入了可变形机制，同时控制网络不增加太多的计算量，作者认为，缩小q对应的k的范围，能够减少无关信息的干扰，增强信息的捕捉，于是引入了到注意力模块中，提出了一种新的注意力模块：可变形多头注意力模块——对k和v进行DCN偏移后再计算注意力。将这个模块替换到Swin-Transformer的第三四阶段的滑动窗口注意力部分，获得了较好的实验性能。原文链接：Vision Transformer with Deformable Attention 源码地
[Transformer] DAT: Vision Transformer with Deformable Attention
Cherry的笔记本
01-14 3401
论文： https://arxiv.org/abs/2201.00520 代码： https://github.com/LeapLabTHU/DAT 2022年1月 1 简介 与CNN模型相比，基于Transformer的模型具有更大的感受野，擅长于建模长期依赖关系，在大量训练数据和模型参数的情况下取得了优异的性能。但是，计算成本较高，收敛速度较慢，过拟合的风险增加。 为了降低计算复杂度， Swin Transformer采用基于Window的局部注意力来限制Local Window中的注意
《Vision Transformer with Deformable Attention》论文翻译
DTGshaodow的博客
11-06 1051
原文链接:https://doi.org/10.1109/cvpr52688.2022.00475 author={Zhuofan Xia and Xuran Pan and Shiji Song and Li Erran Li and Gao Huang} 一、介绍 Transformer最初是为了处理自然语言处理任务而提出的。最近，它在计算机视觉领域展示了巨大的潜力。先锋工作Vision Transformer（ViT）通过堆叠多个Transformer块处理非重叠的图像块（即视觉
Vision Transformer | CVPR 2022 - Vision Transformer with Deformable Attention
画心
06-03 1879
Deformable Attention被提出来针对Attention操作引入数据依赖的稀疏注意力
【读点论文】DAS: A Deformable Attention to Capture Salient Information in CNNs，结合了层特征的上下文信息和可变形卷积的能力
白水空空
11-28 3349
卷积神经网络(cnn)在局部空间模式识别方面表现优异。对于许多视觉任务，如物体识别和分割，显著信息也存在于CNN的内核边界之外。然而，由于cnn的接受域有限，它很难捕捉到相关的信息。自关注可以改善模型对全局信息的访问，但会增加计算开销。我们提出了一种快速简单的全卷积方法，称为DAS，有助于将注意力集中在相关信息上。它使用可变形卷积来定位相关图像区域，使用可分离卷积来提高效率。DAS插入现有的cnn并使用门控机制传播相关信息。与 transformer 式注意力的计算复杂度O(n2)相比，DAS的计算复杂度为
【算法学习、超详细】Deformable DETR：可变形注意力机制——DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION
qq_50001789的博客
02-21 4058
论文题目：《DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION》 在本文中，作者提出了可变形注意力机制，将transformer的计算度压缩为线性复杂度，在降低DETR推理速度、加速模型收敛的同时引入了多尺度信息，极大地提升了DETR目标检测算法的性能。
模型实践 | 可变形的 Attention 助力 ViT 优化
weixin_66945478的博客
07-19 1298
来自清华黄高课题组的研究者们对ViT模型中的Attention机制进行改进，提出了可变形的attention机制。研究者们让所有query都跟同⼀组key和value交互，通过对每个输⼊图像学习⼀组偏移量，移动 key和value到重要的位置。这种设计不仅增强了 sparse attention 的表征能⼒，同时具有线性空间复杂度。 该项工作获得幻方AI算力资助，在大量的场景下进行了实验对比，验证了所提方法的优异性能。
Deformable DETR: DEFORMABLE TRANSFORMERSFOR END-TO-END OBJECT DETECTION（论文阅读）
weixin_40671425的博客
11-21 9005
Deformable DETR 是商汤Jifeng Dai 团队于2021年发表在ICLR 上的文章，是针对Detr 的改进。 论文：《DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION》 论文链接：https://arxiv.org/pdf/2010.04159.pdf 代码链接：https://github.com/fundamentalvision/Deformable-DETR 关于DETR 论文可
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值