优化改进YOLOv5算法之Deformable Attention，有效提升检测效果，秒杀SE、CBAM和CA等注意力机制

已于 2024-01-13 10:01:15 修改
阅读量586 收藏 4
点赞数
分类专栏： YOLOv5创新改进方法 文章标签： YOLO 算法 目标检测
于 2024-01-11 22:46:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40716944/article/details/135540439
版权

目录

1 Deformable Attention模块原理

2 YOLOv5中加入Deformable Attention模块

2.1 common.py文件配置

2.2 yolo.py配置

2.3 创建添加优化点模块的yolov5x-C3-DAttention.yaml

2.4 训练 

参考文献


1 Deformable Attention模块原理

思路主要来源于可变形卷积DCN，理解起来很容易，就是保持Q不变，针对每个K/V学习一个位置偏差，取该处的特征值即可。

上面一张图展现了四种网络的特点：

  • ViT中所有Q的感受野是一样的，都针对全局所有位置特征；
  • Swin中则是局部Attention，因此处于不同窗口的两个Q针对的感受野区域是不一样的；
  • DCN则是针对周围九个位置学习偏差，之后采样矫正过的特征位置，可以看到图中红点蓝点数量均为9；
  • 本文提出的DAT则结合了ViT和DCN，所有的Q会共享相同的感受野，但这些感受野会有学出来的位置偏差；为了降低计算复杂度，针对的特征数量也会降采样，
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI追随者
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
YOLOv8改进 | 注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
11-18 6187
本文给大家带来的是YOLOv8改进DAT的教程，其发布于2022年CVPR2022上同时被评选为Best Paper，由此可以证明其是一种十分有效的改进机制，其主要的核心思想是：引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
DeformableAttention的原理解读和源码实现
zwhdldz的博客
03-17 1795
多尺度特征图尺寸记录:spatial_shapes:([[180, 180],[ 90, 90],[ 45, 45],[ 23, 23]])sampling_locations原本为采样点位置,范围为[0,1),为了适应F.grid_sample采样函数的用法,调整为[-1,1)分布,意思是,900个query在特征图(32,level_h,level_w)中各采样4个点,采样结果为900个对应的4个通道为32的像素特征.reshape为正常图像torch.Size([b*8,32,180,180]
探索未来视觉处理：Deformable Attention 模块的深度解析与实践
gitblog_00080的博客
05-27 277
探索未来视觉处理：Deformable Attention 模块的深度解析与实践 项目地址:https://gitcode.com/lucidrains/deformable-attention 项目简介 Deformable Attention 是一个基于 Pytorch 的开源实现，它源自最新的研究论文《Vision Transformer with Deformable Attention...
Deformable Attention学习笔记
charles_zhang_的博客
11-19 8947
Transformer 最近在各种视觉任务中表现出卓越的表现。大的(有时甚至是全局的)接受域使Transformer模型比CNN模型具有更高的表示能力。然而，单纯扩大接受野也会引起一些问题。一方面，在ViT中使用密集注意力会导致过多的内存和计算成本，特征会受到超出感兴趣区域的无关部分的影响。另一方面，PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制建模远程关系的能力。为了解决这些问题，我们提出了一种新的Deformable 自注意模块，
详解可变形注意力模块（Deformable Attention Module）
热门推荐
David's Tweet
02-20 1万+
Deformable Attention（可变形注意力）首先在2020年10月初商汤研究院的《Deformable DETR: Deformable Transformers for End-to-End Object Detection》论文中提出，在2022CVPR中《Vision Transformer with Deformable Attention》提出应用了Deformable Attention（可变形自注意力）机制的通用视觉Transformer骨干网络DAT（Deformable Att
可变形注意力（Deformable Attention）及其拓展
weixin_47748259的博客
02-23 4802
右侧的可变形卷积因为感受野的每一个点都有偏移量，造成卷积核在图片上滑动时对应的感受野的点不会重复选择，这意味着会采样9 x 9=81个采样点，比传统卷积更多。对感受野上的每一个点加一个偏移量 ，偏移的大小是通过学习得到的 ，偏移后感受野不再是个正方形，而是和物体的实际形状相匹配。传统卷积核在卷积过程中由于会存在重叠，最终输出后的感受野范围小，而可变性卷积中因为有偏移，不会有重叠，从而感受野范围更大。可变形卷积将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。
Vision Transformer with Deformable Attention
like_jmo的博客
12-08 2804
Vision Transformer with Deformable Attention
可以训练yolov5(v6.0)、yolox、小型网络，添加注意力机制
02-06
总的来说，训练YOLOv5v6.0、YOLOX以及包含注意力机制的小型网络，需要对深度学习、目标检测算法和注意力机制有深入的理解。通过持续的实验和优化，可以构建出既高效又精确的目标检测模型，满足各种实际应用场景的...
基于可变形卷积和注意力机制的滚动轴承故障诊断
02-06
并引入注意力机制，充分考虑滚动轴承故障的特征来设计注意模块，以增强故障相关特征，忽略一些无关特征，提出了一种可变形多注意力卷积神经网络算法（Deformable multi-attention convolutional neural network，...
算法部署-使用TensorRT部署Deformable-DERT目标检测算法-优质算法部署项目实战.zip
03-05
首先，Deformable-DETR是一种变形版的DETR（DEtection TRansformer），它在DETR的基础上引入了可变形注意力机制，提高了模型对目标定位的准确性，尤其是对于那些形状不规则或大小变化较大的目标。DETR本身是基于...
算法部署-基于ROS+TensorRT+Cpp部署YOLOv9目标检测算法.zip
03-15
YOLOv9是一种高效、快速的目标检测算法，其在计算机视觉领域被广泛应用。该算法的部署涉及多个技术栈，包括Robot Operating System (ROS)、TensorRT以及C++编程语言。以下将详细介绍这些知识点： 1. **YOLOv9**： ...
Deformable-Attention-for-Deformable-DETR
04-14
可变形DETR的变形注意 wrt
基于python实现的可变形卷积和注意力机制的滚动轴承故障诊断源码
最新发布
06-20
并引入注意力机制，充分考虑滚动轴承故障的特征来设计注意模块，以增强故障相关特征，忽略一些无关特征，提出了一种可变形多注意力卷积神经网络算法（Deformable multi-attention convolutional neural network，...
Deformable CNN 和 Deformable Attention
jzwei023的博客
02-17 4837
论文地址：Deformable Convolutional Networks 针对视觉任务中，如何根据物体的尺寸、位置、视角等来调整模型的几何变化，一般传统做法有： 1）通过数据增强等方式，增加训练数据的多样性 2）使用transformation-invariant的特征和算法，比如TI-pooling (transformation-invariant pooling)和SIFT（scale invariant feature transform） 但这些方法有一些缺点：比如 1）需要假设几何
可形变注意力机制的总结
qq_49746822的博客
09-20 4123
本篇文章总结了目前顶刊上发表的可形变注意力机制的内容和代码。
Deformable DETR
weixin_43981952的博客
12-21 5506
目录一、Deformable Convolution原理分析Deformable DETR 原理分析Deformable Attention ModuleMulti-scale Deformable Attention Module 一、Deformable Convolution原理分析 Deformable Convolution 将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。 传统的CNN卷积核是固定大小的，只能在固定为位置对固定输入特征进行采样， 为了
模型实践 | 可变形的 Attention 助力 ViT 优化
weixin_66945478的博客
07-19 1123
来自清华黄高课题组的研究者们对ViT模型中的Attention机制进行改进，提出了可变形的attention机制。研究者们让所有query都跟同⼀组key和value交互，通过对每个输⼊图像学习⼀组偏移量，移动 key和value到重要的位置。这种设计不仅增强了 sparse attention 的表征能⼒，同时具有线性空间复杂度。 该项工作获得幻方AI算力资助，在大量的场景下进行了实验对比，验证了所提方法的优异性能。
[Transformer] DAT: Vision Transformer with Deformable Attention
Cherry的笔记本
01-14 2960
论文： https://arxiv.org/abs/2201.00520 代码： https://github.com/LeapLabTHU/DAT 2022年1月 1 简介 与CNN模型相比，基于Transformer的模型具有更大的感受野，擅长于建模长期依赖关系，在大量训练数据和模型参数的情况下取得了优异的性能。但是，计算成本较高，收敛速度较慢，过拟合的风险增加。 为了降低计算复杂度， Swin Transformer采用基于Window的局部注意力来限制Local Window中的注意
Deformable Detr代码阅读
asdapple117的博客
10-08 2867
deformable detr源码阅读
yolov5和改进yolov5的区别
01-25
3. 其他改进：改进的YOLOv5还引入了一些其他的改进，如CBAM（Convolutional Block Attention Module）、DCN（Deformable Convolutional Networks）以及TensorRT等。这些改进可以进一步提升算法的性能和效果。 总的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI追随者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值