优化改进YOLOv5算法之Deformable Attention，有效提升检测效果，秒杀SE、CBAM和CA等注意力机制

已于 2024-01-13 10:01:15 修改
阅读量610 收藏 4
点赞数
分类专栏： YOLOv5创新改进方法 文章标签： YOLO 算法 目标检测
于 2024-01-11 22:46:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40716944/article/details/135540439
版权

目录

1 Deformable Attention模块原理

2 YOLOv5中加入Deformable Attention模块

2.1 common.py文件配置

2.2 yolo.py配置

2.3 创建添加优化点模块的yolov5x-C3-DAttention.yaml

2.4 训练 

参考文献


1 Deformable Attention模块原理

思路主要来源于可变形卷积DCN，理解起来很容易，就是保持Q不变，针对每个K/V学习一个位置偏差，取该处的特征值即可。

上面一张图展现了四种网络的特点：

  • ViT中所有Q的感受野是一样的，都针对全局所有位置特征；
  • Swin中则是局部Attention，因此处于不同窗口的两个Q针对的感受野区域是不一样的；
  • DCN则是针对周围九个位置学习偏差，之后采样矫正过的特征位置，可以看到图中红点蓝点数量均为9；
  • 本文提出的DAT则结合了ViT和DCN，所有的Q会共享相同的感受野，但这些感受野会有学出来的位置偏差；为了降低计算复杂度，针对的特征数量也会降采样，
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI追随者
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
YOLOv8改进 | 注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
11-18 6368
本文给大家带来的是YOLOv8改进DAT的教程，其发布于2022年CVPR2022上同时被评选为Best Paper，由此可以证明其是一种十分有效的改进机制，其主要的核心思想是：引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
Deformable-Attention-for-Deformable-DETR
04-14
可变形DETR的变形注意 wrt
探索未来视觉处理：Deformable Attention 模块的深度解析与实践
gitblog_00080的博客
05-27 301
探索未来视觉处理：Deformable Attention 模块的深度解析与实践 项目地址:https://gitcode.com/lucidrains/deformable-attention 项目简介 Deformable Attention 是一个基于 Pytorch 的开源实现，它源自最新的研究论文《Vision Transformer with Deformable Attention...
YOLOv8改进 添加可变形注意力机制DAttention
分享一些自己改进代码的实例
12-29 4262
手把手教你在yolov8原结构中加入可变形注意力机制DAttention，可以根据输入学习调整注意力模式，从而提高网络性能和效率。助力涨点！！！！！！
Deformable Attention学习笔记
charles_zhang_的博客
11-19 9165
Transformer 最近在各种视觉任务中表现出卓越的表现。大的(有时甚至是全局的)接受域使Transformer模型比CNN模型具有更高的表示能力。然而，单纯扩大接受野也会引起一些问题。一方面，在ViT中使用密集注意力会导致过多的内存和计算成本，特征会受到超出感兴趣区域的无关部分的影响。另一方面，PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制建模远程关系的能力。为了解决这些问题，我们提出了一种新的Deformable 自注意模块，
详解可变形注意力模块（Deformable Attention Module）
热门推荐
David's Tweet
02-20 1万+
Deformable Attention（可变形注意力）首先在2020年10月初商汤研究院的《Deformable DETR: Deformable Transformers for End-to-End Object Detection》论文中提出，在2022CVPR中《Vision Transformer with Deformable Attention》提出应用了Deformable Attention（可变形自注意力）机制的通用视觉Transformer骨干网络DAT（Deformable Att
可变形注意力（Deformable Attention）及其拓展
weixin_47748259的博客
02-23 5406
右侧的可变形卷积因为感受野的每一个点都有偏移量，造成卷积核在图片上滑动时对应的感受野的点不会重复选择，这意味着会采样9 x 9=81个采样点，比传统卷积更多。对感受野上的每一个点加一个偏移量 ，偏移的大小是通过学习得到的 ，偏移后感受野不再是个正方形，而是和物体的实际形状相匹配。传统卷积核在卷积过程中由于会存在重叠，最终输出后的感受野范围小，而可变性卷积中因为有偏移，不会有重叠，从而感受野范围更大。可变形卷积将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。
DeformableAttention的原理解读和源码实现
zwhdldz的博客
03-17 1976
多尺度特征图尺寸记录:spatial_shapes:([[180, 180],[ 90, 90],[ 45, 45],[ 23, 23]])sampling_locations原本为采样点位置,范围为[0,1),为了适应F.grid_sample采样函数的用法,调整为[-1,1)分布,意思是,900个query在特征图(32,level_h,level_w)中各采样4个点,采样结果为900个对应的4个通道为32的像素特征.reshape为正常图像torch.Size([b*8,32,180,180]
可以训练yolov5(v6.0)、yolox、小型网络，添加注意力机制
02-06
总的来说，训练YOLOv5v6.0、YOLOX以及包含注意力机制的小型网络，需要对深度学习、目标检测算法和注意力机制有深入的理解。通过持续的实验和优化，可以构建出既高效又精确的目标检测模型，满足各种实际应用场景的...
基于可变形卷积和注意力机制的滚动轴承故障诊断
02-06
并引入注意力机制，充分考虑滚动轴承故障的特征来设计注意模块，以增强故障相关特征，忽略一些无关特征，提出了一种可变形多注意力卷积神经网络算法（Deformable multi-attention convolutional neural network，...
算法部署-使用TensorRT部署Deformable-DERT目标检测算法-优质算法部署项目实战.zip
03-05
首先，Deformable-DETR是一种变形版的DETR（DEtection TRansformer），它在DETR的基础上引入了可变形注意力机制，提高了模型对目标定位的准确性，尤其是对于那些形状不规则或大小变化较大的目标。DETR本身是基于...
算法部署-基于ROS+TensorRT+Cpp部署YOLOv9目标检测算法.zip
03-15
YOLOv9是一种高效、快速的目标检测算法，其在计算机视觉领域被广泛应用。该算法的部署涉及多个技术栈，包括Robot Operating System (ROS)、TensorRT以及C++编程语言。以下将详细介绍这些知识点： 1. **YOLOv9**： ...
基于python实现的可变形卷积和注意力机制的滚动轴承故障诊断源码
最新发布
06-20
并引入注意力机制，充分考虑滚动轴承故障的特征来设计注意模块，以增强故障相关特征，忽略一些无关特征，提出了一种可变形多注意力卷积神经网络算法（Deformable multi-attention convolutional neural network，...
Vision Transformer with Deformable Attention
like_jmo的博客
12-08 2820
Vision Transformer with Deformable Attention
Deformable CNN 和 Deformable Attention
jzwei023的博客
02-17 4851
论文地址：Deformable Convolutional Networks 针对视觉任务中，如何根据物体的尺寸、位置、视角等来调整模型的几何变化，一般传统做法有： 1）通过数据增强等方式，增加训练数据的多样性 2）使用transformation-invariant的特征和算法，比如TI-pooling (transformation-invariant pooling)和SIFT（scale invariant feature transform） 但这些方法有一些缺点：比如 1）需要假设几何
可形变注意力机制的总结
qq_49746822的博客
09-20 4177
本篇文章总结了目前顶刊上发表的可形变注意力机制的内容和代码。
Deformable DETR
weixin_43981952的博客
12-21 5679
目录一、Deformable Convolution原理分析Deformable DETR 原理分析Deformable Attention ModuleMulti-scale Deformable Attention Module 一、Deformable Convolution原理分析 Deformable Convolution 将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。 传统的CNN卷积核是固定大小的，只能在固定为位置对固定输入特征进行采样， 为了
模型实践 | 可变形的 Attention 助力 ViT 优化
weixin_66945478的博客
07-19 1140
来自清华黄高课题组的研究者们对ViT模型中的Attention机制进行改进，提出了可变形的attention机制。研究者们让所有query都跟同⼀组key和value交互，通过对每个输⼊图像学习⼀组偏移量，移动 key和value到重要的位置。这种设计不仅增强了 sparse attention 的表征能⼒，同时具有线性空间复杂度。 该项工作获得幻方AI算力资助，在大量的场景下进行了实验对比，验证了所提方法的优异性能。
[Transformer] DAT: Vision Transformer with Deformable Attention
Cherry的笔记本
01-14 2985
论文： https://arxiv.org/abs/2201.00520 代码： https://github.com/LeapLabTHU/DAT 2022年1月 1 简介 与CNN模型相比，基于Transformer的模型具有更大的感受野，擅长于建模长期依赖关系，在大量训练数据和模型参数的情况下取得了优异的性能。但是，计算成本较高，收敛速度较慢，过拟合的风险增加。 为了降低计算复杂度， Swin Transformer采用基于Window的局部注意力来限制Local Window中的注意
yolo加入dcnv2的目的
09-19
YOLO（You Only Look Once）是一种流行的目标检测算法，而DCNv2（Deformable Convolution Neural Networks version 2）则是一种改进的卷积神经网络结构。YOLO加入DCNv2的目的主要有以下几点。 首先，使用DCNv2能够帮助改善YOLO在目标边界框定位方面的性能。DCNv2引入了可变形卷积操作，可以自适应地学习目标的非刚性形状，从而更准确地定位目标边界框。相比于传统的固定卷积操作，DCNv2能够更好地适应各种目标的复杂形状和姿态变化。 其次，YOLO加入DCNv2还可以提升目标检测的精度和召回率。DCNv2的可变形卷积在进行目标特征提取时，能够更好地捕捉目标的细节特征，对小目标以及部分遮挡的目标也能取得更好的检测效果。通过将YOLO与DCNv2相结合，可以在保持实时性能的同时，提高目标检测的准确度。 第三，YOLO加入DCNv2还可以加强对目标旋转和尺度变换的鲁棒性。传统的固定卷积操作对目标的旋转和尺度变换不敏感，可能导致检测结果的不准确。而DCNv2能够自适应地学习目标的旋转和尺度变换，可以更好地应对目标在图像中出现的不同姿态和尺度。 综上所述，YOLO加入DCNv2的目的是为了提高目标检测的准确度、召回率和鲁棒性，使其更适用于复杂情况下的实时目标检测任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI追随者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值