YOLOv9改进系列，YOLOv9添加可变形自注意力机制(DAttention)

已于 2024-09-12 10:28:53 修改
阅读量285 收藏
点赞数 6
分类专栏： YOLOv9改进 文章标签： YOLO 目标检测 计算机视觉 人工智能 深度学习 python
于 2024-07-12 17:11:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44779079/article/details/140383711
版权
YOLOv9改进 专栏收录该内容
32 篇文章 4 订阅 ¥59.90 ¥99.00
订阅专栏

在这里插入图片描述

文章目录

前言

在本文中，提出了一种新颖的可变形自注意模块，其中键和值对在自我注意中的位置是以数据相关的方式选择。这种灵活的方案使自我关注模块能够专注于相关的区域，并捕捉更多信息特征。在此基础上，提出了可变形注意力变换器，一个具有可变形注意力的两幅图像主干模型分类和密集预测任务。DAttention注意机制理论详解可以参考链接: 论文地址）

🎓一、YOLOv9原始版本代码下载

如果之前有在我的网盘下载的YOLOv9源码的就不需要重新下载了，没有下载从我的网盘下载
链接: 源码下载
提取码: eajp

🍀🍀1.yolov9模型结构图

根据yolov9.yaml画出yolo整体结构图，如下图所示<

了解本专栏 订阅专栏 解锁全文
挂科边缘
关注
专栏目录
订阅专栏
YOLOv9改进系列，YOLOv9添加GAM注意力机制
weixin_44779079的博客
07-09 242
全局注意力机制（GAM），通过减少信息减少和放大全局交互表示来提高深度神经网络的性能。引入了带有多层感知器的 3D 排列，用于通道注意力以及卷积空间注意力子模块，GAM注意机制理论详解可以参考链接:论文地址）
YOLOv5改进 | 注意力篇 | BiFormer双层路由注意力机制(Bi-level Routing Attention)
Snu77的博客
12-29 3126
BiFormer是一种结合了Bi-level Routing Attention的视觉Transformer模型，BiFormer模型的核心思想是引入了双层路由注意力机制。在BiFormer中，每个图像块都与一个位置路由器相关联。这些位置路由器根据特定的规则将图像块分配给上层和下层路由器。上层路由器负责捕捉全局上下文信息，而下层路由器则负责捕捉局部区域的细节。 具体来说，上层路由器通过全局自注意力机制对所有图像块进行交互，并生成全局图像表示。下层路由器则使用局部自注意力机制对每个图像块与其邻近的图像块进行
YOLOv9有效提点|加入SGE、Ge、Global Context、GAM等几十种注意力机制（四）
深度学习炼丹师，偶尔分享炼丹技术!
03-02 1732
本文只有代码及注意力模块简介，YOLOv9中的添加教程：可以看之前的文章。
【有啥问啥】什么是Deformable Attention（可变形注意力机制）？
最新发布
Chauvin的博客
08-09 1194
稀疏注意力机制的主要思想是通过减少需要计算注意力的键点数量来降低计算复杂度。与全局注意力机制不同，稀疏注意力机制只关注输入特征中的一部分关键位置，而不是全部位置。这种选择性注意力可以显著降低计算量，并且在实际应用中能够提高计算效率。固定稀疏注意力：在这种方法中，模型预先定义一个固定的稀疏模式。例如，可以选择在每个特征点上只计算其与周围特征点的注意力，而忽略远离的特征点。这种方法简单但不够灵活，因为稀疏模式在整个训练过程中是固定的。动态稀疏注意力。
YOLOv9有效提点|加入SE、CBAM、ECA、SimAM等几十种注意力机制（一）
深度学习炼丹师，偶尔分享炼丹技术!
03-01 5906
本文整合了二十余种注意力机制及在YOLOv9中的添加教程！
FFA-Net：用于单图像去雾的特征融合注意力网络
AI浩
06-05 2057
论文链接：https://arxiv.org/pdf/1911.07559v2在这篇论文中，我们提出了一种端到端的特征融合注意力网络（FFA-Net）来直接恢复无雾图像。FFA-Net架构由三个关键组件组成：一种新颖的特征注意力（FA）模块结合了通道注意力与像素注意力机制，考虑到不同通道特征包含完全不同的加权信息，且雾在图像的不同像素上分布不均匀。FA模块对不同的特征和像素进行非等权重处理，这在处理不同类型的信息时提供了额外的灵活性，扩展了卷积神经网络（CNNs）的表示能力。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 9万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv8改进系列，YOLOv8添加DAttention注意力机制
weixin_44779079的博客
07-04 1160
在本文中，提出了一种新颖的可变形自注意模块，其中键和值对在自我注意中的位置是以数据相关的方式选择。这种灵活的方案使自我关注模块能够专注于相关的区域，并捕捉更多信息特征。在此基础上，提出了可变形注意力变换器，一个具有可变形注意力的两幅图像主干模型分类和密集预测任务。CA注意机制理论详解可以参考链接:论文地址）
YOLOv10改进 | 添加注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
07-13 851
本文给大家带来的是YOLOv10改进的教程，其发布于2022年CVPR2022上同时被评选为Best Paper由此可以证明其是一种十分有效的改进机制，其主要的核心思想是引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
YOLOv10涨点改进｜添加可变形注意力机制DAttention
“365天深度学习训练营”报名进行中～
07-05 487
👉 独家改进，对现有YOLOv10进行二次创新，提升检测精度，适合科研创新度十足，强烈推荐🌟 统一使用 YOLOv10 代码框架，💥 本博客包含大量的改进方式，降低改进难度,改进点包含【Neck特征融合】【Head检测头】【注意力机制】【IoU损失函数】【NMS】【Loss计算方式】【自注意力机制】【数据增强部分】【标签分配策略】【激活函数】等各个部分。🔥 专栏创新点教程均有不少同学反应和我说已经在自己的数据集上有效涨点啦！！
YOLOv9改进 添加新型卷积注意力框架SegNext_Attention
分享一些自己改进代码的实例
03-12 537
在yolov9中加入新型卷积注意力框架SegNext_Attention，能够更好地利用全局上下文信息，并且能够对感兴趣的区域进行更加准确的注重，从而提高图像分割的性能。
yolov9不同版本区别
weixin_44394479的博客
05-03 518
yolov9-e 是ADown+cblinear 5 6头。gelan-e是ADown+CBLinear5 3头。yolov9-c 是ADown+CBLinear3。yolov9是conv+CBLinear。gelan-c是ADown。gelan是conv。
YOLOv9改进 | 提供YOLOv9全系列支持YOLOv9n、YOLOv9s、V9m、V9l、V9x的修改方式（全网独家首发）
Snu77的博客
03-04 7454
​ 大家好，本文给大家带来的是2024年2月21日全新发布的SOTA模型YOLOv9的补全教程（算是一种补全吧我个人认为），大家了解V7的人都知道V7系列是不支持模型深度和宽度的修改的也就是没有办法像YOLOv8那样有多个版本（例如：V9n、V9s、V9m、V9l、V9x这样），所以我也是在YOLOv9最新版本的基础上给大家把这个共功能添加上了（修改模型的深度和宽度从而产生达到不同版本的效果），本文的内容均为我个人整理和撰写，创作不易，大家可以帮忙点赞评论支持一下！
目标检测YOLO系列算法——YOLOv1-YOLOv9详细介绍
Python_zzm的博客
07-28 1456
和YOLOv4 的主干网络相同，都采用了基于CSP结构的CSPDarkNet网络，不同的是，在YOLOv4中，CSPDarkNet遵循“12884”的设计来得到CSPDarkNet-53，而YOLOv5则进一步将其修改为“3993”的结构，以便后续在模型深度的层面上做缩放。相较于YOLOv4 的“12884”，YOLOv5则在模型的第一阶段中不加入CSP模块，仅仅使用一个kernel较大的卷积来做第一次的降采样，随后才使用CSP模块，因此，YOLOv5的结构参数“3993”，而不是“13993”。
YOLO的版本有哪些，以及功能差异？
wangbo_angel的博客
05-11 1123
例如，YOLOv3引入了多尺度预测来改善对小目标的检测，而YOLOv5则完全重写，使用了PyTorch框架，提高了模型的可用性和性能。10. PP-YOLO：并非YOLO主线版本，但值得一提，它使用ResNet50-vd作为骨干网，并引入了多项优化，如DropBlock、IoU预测分支等，以提高性能。3. YOLOv3：引入了Darknet-53作为新的特征提取器，并添加了多尺度预测，改进了对小物体的检测。11. Scaled-YOLOv4：提供了扩大和缩小的技术，以适应不同的计算能力和速度需求。
YOLOv5改进 | 注意力篇 | Deformable-LKA(DLKA)可变形的大核注意力（附多个位置添加教程）
Snu77的博客
01-06 2147
本文给大家带来的改进内容是Deformable-LKA（可变形大核注意力）。Deformable-LKA结合了大卷积核的广阔感受野和可变形卷积的灵活性，有效地处理复杂的视觉信息。这一机制通过动态调整卷积核的形状和大小来适应不同的图像特征，提高了模型对目标形状和尺寸的适应性。在YOLOv5中，Deformable-LKA可以被用于提升对小目标和不规则形状目标的检测能力，特别是在复杂背景或不同光照条件下。我进行了简单的实验，这一改进显著提高了模型mAP(提高了大概0.8左右)。Deformable-LKA，引入
【YOLOv8改进】D-LKA Attention：可变形大核注意力 (论文笔记+引入代码)
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-26 400
医学图像分割在Transformer模型的应用下取得了显著进步，这些模型在捕捉远距离上下文和全局语境信息方面表现出色。然而，这些模型的计算需求随着token数量的平方增加，限制了其深度和分辨率能力。大多数现有方法以逐片处理三维体积图像数据（称为伪3D），这忽略了重要的片间信息，从而降低了模型的整体性能。为了解决这些挑战，我们引入了可变形大核注意力（D-LKA Attention）的概念，这是一种简化的注意力机制，采用大卷积核以充分利用体积上下文信息。该机制在类似于自注意力的感受野内运行，同时避免了计算开销。
用于Transformer的6种注意力的数学原理和代码实现
deephub
03-31 8000
Transformer 的出色表现让注意力机制出现在深度学习的各处。本文整理了深度学习中最常用的6种注意力机制的数学原理和代码实现。 1、Full Attention 2017的《Attention is All You Need》中的编码器-解码器结构实现中提出。它结构并不复杂，所以不难理解。 上图 1.左侧显示了 Scaled Dot-Product Attention 的机制。当我们有多个注意力时，我们称之为多头注意力（右），这也是最常见的注意力的形式公式如下： 公式1 这里Q（Query）、K（
YOLOV5改进-添加注意力机制senet
09-13
你好！关于YOLOv5的改进，你提到了添加注意力机制SENet。SENet（Squeeze-and-Excitation Network）是一种用于增强卷积神经网络性能的注意力机制。它通过学习通道间的依赖关系，来自适应地调整不同通道的特征响应。 在YOLOv5中，可以通过将SENet模块嵌入到主干特征提取网络中来实现注意力机制的添加。具体而言，可以在主干网络的某些卷积层之后添加SENet模块，以学习通道间的权重。这样做可以帮助网络更好地关注对目标检测任务更有用的特征，从而提高检测性能。 添加SENet的步骤如下： 1. 在主干网络的某些卷积层之后插入SENet模块。 2. SE模块由两个阶段组成：Squeeze阶段和Excitation阶段。 - Squeeze阶段：通过全局平均池化操作将每个通道的特征图压缩为一个标量。 - Excitation阶段：使用全连接层将压缩后的特征进行激活处理，并生成一个通道注意力向量。 3. 将通道注意力向量与原始特征相乘，以增强重要特征的表示能力。 通过引入SENet的注意力机制，YOLOv5可以更好地选择和强调对目标检测任务最为关键的特征，从而提升检测性能。这是一种常见的改进方法，已被广泛应用于不同的视觉任务中。希望这些信息对你有所帮助！如果你还有其他问题，可以继续提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挂科边缘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值