Vision Transformer with Deformable Attention

最新推荐文章于 2024-03-13 18:41:18 发布
最新推荐文章于 2024-03-13 18:41:18 发布
阅读量197 收藏 1
点赞数
分类专栏： # 无监督 文章标签： 学习 分类 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45745941/article/details/130078075
版权

摘要

使用密集注意力(例如在ViT中)会导致过多的内存和计算成本，并且特征可能会受到超出感兴趣区域的无关部分的影响。另一方面，在PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制对长期关系建模的能力。为了缓解这些问题，我们提出了一种新的可变形的自我注意模块，其中键和值对在自我注意中的位置以数据依赖的方式选择。这种灵活的方案使自关注模块能够专注于相关区域，并捕获更多信息特征。在此基础上，我们提出了变形注意Transformer，这是一种适用于图像分类和密集预测任务的具有变形注意的通用骨干模型。
DAT代码链接
论文链接

本文方法

核心在于学习相对位置编码以及求参考点的位移信息，使得注意力更加关注想要的区域
在这里插入图片描述(a)表示DAT模块。在左侧，在特征图上统一放置一组参考点，其偏移量由偏移网络从query中学习。
然后从采样的特征中根据变形点投影变形的键和值，如图右侧所示。通过变形点计算相对位置偏差，增强了输出变形特征的多头注意力。为了清晰地展示，我们只展示了4个参考点，实际上在实际实现中还有更多的参考点
(b)揭示了offset生成网络的详细结构，标记为每一层的输入和输出特征图的大小
模型结构
在这里插入图片描述
在这里插入图片描述

消融实验

在这里插入图片描述

小杨小杨1
关注
专栏目录
【YOLOv8改进[注意力]】YOLOv8添加DAT(Vision Transformer with Deformable Attention)助力涨点
静谧、淡雅
04-22 2045
YOLOv8添加DAT注意力机制(Vision Transformer with Deformable Attention)助力涨点
可变形的Tranformer算法详解与源码——DAT:Vision Transformer with Deformable Attention
qq_52053775的博客
08-26 2160
和分别表示变形的键嵌入和值嵌入。具体来说，我们将采样函数（·；·）设置为一个双线性插值，使其可微：其中和索引了上的所有位置。由于g只在最接近的4个积分点上不为零，因此它简化了等式（8）到4个地点的加权平均值。与现有的方法类似，我们对q、k、v进行多头注意，并采用相对位置偏移r。注意头的输出表述为：其中对应于之前的工作[26]之后的位置嵌入，同时有一些适应。细节将在本节后面解释。每个头的特征被连接在一起，并通过Wo进行投影，得到最终的输出z为等式(3)....
DAT：Vision Transformer with Deformable Attention
qq_45122568的博客
06-30 1581
这篇文章是相对于Swin-Transformer和PVT进行改进，加入了可变形机制，同时控制网络不增加太多的计算量，作者认为，缩小q对应的k的范围，能够减少无关信息的干扰，增强信息的捕捉，于是引入了到注意力模块中，提出了一种新的注意力模块：可变形多头注意力模块——对k和v进行DCN偏移后再计算注意力。将这个模块替换到Swin-Transformer的第三四阶段的滑动窗口注意力部分，获得了较好的实验性能。原文链接：Vision Transformer with Deformable Attention 源码地
[Transformer] DAT: Vision Transformer with Deformable Attention
Cherry的笔记本
01-14 3139
论文： https://arxiv.org/abs/2201.00520 代码： https://github.com/LeapLabTHU/DAT 2022年1月 1 简介 与CNN模型相比，基于Transformer的模型具有更大的感受野，擅长于建模长期依赖关系，在大量训练数据和模型参数的情况下取得了优异的性能。但是，计算成本较高，收敛速度较慢，过拟合的风险增加。 为了降低计算复杂度， Swin Transformer采用基于Window的局部注意力来限制Local Window中的注意
（八十三）：Vision Transformer with Deformable Attention
Wangzx的博客
03-27 318
标题Abstract1. Introduction2. Related Work3. Method4. Experimental Setup5. Evaluation Results6. Conclusions 出处： 代码： 题目： 主要内容： Abstract 1. Introduction 2. Related Work 3. Method 4. Experimental Setup 5. Evaluation Results 6. Conclusions ...
Vision Transformer with Deformable Attention可变形注意力
qq_45745941的博客
02-22 804
为了获得每个参考点的偏移量，将特征映射线性投影到查询标记q=xWq，然后输入一个轻量子网络θoffset（·），生成偏移量∆p=θoffset(q)。然后根据网格形状HG×WG将其归一化到范围[−1，+1]，其中（−1，−1）表示左上角，（+1，+1）表示右下角。为了稳定训练过程，我们用一些预定义的因子s来缩放∆p的振幅，以防止过大的偏移量，即∆p←tanh（∆p）。​ 其中，g（a，b）= max（0,1−|a−b|），（rx，ry）索引在z∈RH×W×C上的所有位置。
Vision Transformer | CVPR 2022 - Vision Transformer with Deformable Attention
画心
06-03 1716
Deformable Attention被提出来针对Attention操作引入数据依赖的稀疏注意力
论文阅读——Vision Transformer with Deformable Attention
最新发布
weixin_43575791的博客
03-13 1239
模型实践 | 可变形的 Attention 助力 ViT 优化
weixin_66945478的博客
07-19 1181
来自清华黄高课题组的研究者们对ViT模型中的Attention机制进行改进，提出了可变形的attention机制。研究者们让所有query都跟同⼀组key和value交互，通过对每个输⼊图像学习⼀组偏移量，移动 key和value到重要的位置。这种设计不仅增强了 sparse attention 的表征能⼒，同时具有线性空间复杂度。 该项工作获得幻方AI算力资助，在大量的场景下进行了实验对比，验证了所提方法的优异性能。
详解可变形注意力模块（Deformable Attention Module）
热门推荐
David's Tweet
02-20 2万+
Deformable Attention（可变形注意力）首先在2020年10月初商汤研究院的《Deformable DETR: Deformable Transformers for End-to-End Object Detection》论文中提出，在2022CVPR中《Vision Transformer with Deformable Attention》提出应用了Deformable Attention（可变形自注意力）机制的通用视觉Transformer骨干网络DAT（Deformable Att
可形变注意力机制的总结
qq_49746822的博客
09-20 4309
本篇文章总结了目前顶刊上发表的可形变注意力机制的内容和代码。
Vision Transformer图像分类(MindSpore实现)
m0_37046057的博客
05-13 3668
Vision Transformer进行图像分类 Vision Transformer（ViT）简介 近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大的促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。 ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。 模型结构 ViT模型的主体结构是基于
CVPR 2022 | 清华开源DAT：具有可变形注意力的视觉Transformer
阿木寺的博客
05-24 4293
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：集智书童点击进入—>CVer 微信技术交流群Vision Transformer with Deformable Attention论文：https://arxiv.org/abs/2201.00520代码：https://github.com/LeapLabTHU/DAT最近，Tra...
清华提出DAT：具有可变形注意力的视觉Transformer
阿木寺的博客
01-05 6453
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达Vision Transformer with Deformable Attention论文：https://arxiv...
【DETR】2、Deformable DETR | 使用多尺度可变形 attention 的方式来解决 DETR 收敛慢和小目标不好的问题
呆呆的猫的博客
10-26 4696
本文主要介绍 Deformable DETR
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小杨小杨1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值