YOLOv9改进，YOLOv9添加EMA注意力机制

已于 2024-09-21 14:24:24 修改
阅读量213 收藏
点赞数
分类专栏： YOLOv9改进 文章标签： YOLO 目标检测 python 计算机视觉 人工智能 深度学习
于 2024-08-14 15:55:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44779079/article/details/141192993
版权
YOLOv9改进 专栏收录该内容
69 篇文章 ¥199.90 ¥299.90
订阅专栏

在这里插入图片描述

前言

在各种计算机视觉任务中，通道或空间注意力机制在生成更具辨识度的特征表示方面表现出显著的效果。然而，通过通道维度减少来建模跨通道关系可能会在提取深度视觉表示时带来副作用。本文提出了一种新颖的高效多尺度注意力（EMA）模块。该模块重点在于保留每个通道的信息并降低计算开销，我们将部分通道重新排列到批次维度，并将通道维度分组为多个子特征，使得空间语义特征在每个特征组内分布均匀。

EMA理论详解可以参考链接：论文地址
EMA代码可在这个链接找到：代码地址

本文在YOLOv9中引入EMA，代码已经整理好了，跟着文章复制粘贴，即可直接运行

目录

<
了解本专栏 订阅专栏 解锁全文
YOLOv9改进，YOLOv9添加GAM注意力机制
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
07-09 941
全局注意力机制（GAM），通过减少信息减少和放大全局交互表示来提高深度神经网络的性能。引入了带有多层感知器的 3D 排列，用于通道注意力以及卷积空间注意力子模块，GAM注意机制理论详解可以参考链接:论文地址）
YOLOv9改进策略 | 添加注意力篇 | 高效的注意力改进策略EMAttention注意力机制（附多个可添加位置）
Snu77的博客
05-07 1584
本文给大家带来的改进机制是EMAttention注意力机制，它的重塑部分通道到批次维度，并将通道维度分组为多个子特征，以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重，并通过跨维度交互来捕获像素级别的关系。本文首先给大家提供效果图(由基础版本未作任何修改和修改了本文的改进机制的效果对比图)，然后介绍其主要的原理，最后手把手教大家如何添加该注意力机制。YOLOv9有效涨点专栏-持续复现各种顶会内容-有效涨点-全网改进最全的专栏目录一、本文介绍。
YOLOv9改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制
Limiiiing的博客
08-22 2154
这篇文章带来一个经典注意力模块的汇总，虽然有些模块已经发布很久了，但后续的注意力模块也都是在此基础之上进行改进的，对于初学者来说还是有必要去学习了解一下，以加深对模块，模型的理解。
YOLOv9改进，YOLOv9添加NAM注意力机制并与RepNCSPELAN4结构融合
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
08-31 329
我们提出了NAM作为一种高效且轻量级的注意机制。我们采用了CBAM中的模块整合方法，并重新设计了通道和空间注意子模块。然后，在每个网络块的末端嵌入NAM模块。对于残差网络，它被嵌入到残差结构的末端。我们还对空间维度应用BN的缩放因子来衡量像素的重要性。我们称之为像素归一化。对应的空间注意子模块如图2。NAM的优势1.高效性：通过使用BN的缩放因子，我们能够高效地衡量通道和像素的重要性，而不会显著增加计算复杂度。2.轻量级：NAM模块结构简单且易于嵌入现有网络架构中。
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
B站 Ai学术叫叫兽的文案地
04-18 2862
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
YOLOv8改进 | 注意力机制 | 添加MLCA混合局部通道注意力（轻量化注意力机制）
Snu77的博客
01-03 8140
本文带来的改进机制是MLCA(Mixed local channel attention)翻译来就是混合局部通道注意力，它结合了局部和全局特征以及通道和空间特征的信息，根据文章的内容来看他是一个轻量化的注意力机制，能够在增加少量参数量的情况下从而大幅度的提高检测精度(论文中是如此描述的)，根据我的实验内容来看，该注意力机制确实参数量非常少，效果也算不错，而且官方的代码中提供了二次创新的思想和视频讲解非常推荐大家观看。推荐指数：⭐⭐⭐⭐⭐涨点效果：⭐⭐⭐⭐⭐。
YOLOv8 改进：添加 EMA 注意力机制，并与 C2f 融合
最新发布
走向CTO的路上...
03-30 506
通过结合 EMA 注意力机制和 C2f 提升 YOLOv8 的特征提取能力，能够有效减少模型复杂度并增强检测性能。这种方法不仅适用于资源受限的设备，还能在丰富多样的实际应用中提供强劲支持。
YoloV9改进策略：EMA注意力机制在YoloV9中的创新应用与显著性能提升|即插即用
m0_47867638的博客
08-07 1575
在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
YOLOv8改进:添加EMA注意力机制
ShawN1022的博客
09-13 1万+
用YOLOv5x作为骨干CNN在VisDrone数据集上进行目标检测，其中CA, CBAM和EMA注意力分别集成到检测器中。从表2的结果可以看出，CA, CBAM和EMA都可以提高目标检测的基线性能。/EMA.py文件中新建一个名为EMA.py文件，将下述代码复制到EMA.py文件中并保存。本文提出了一种新的跨空间学习方法，并设计了一个多尺度并行子网络来建立短和长依赖关系。EMA的位置可以改变，看个人的数据集效果，改注意编号的变化。运行的时候看框架可以看到EMA说明添加成功。录用：ICASSP2023。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 14万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv9有效提点|加入SGE、Ge、Global Context、GAM等几十种注意力机制（四）
深度学习炼丹师，偶尔分享炼丹技术!
03-02 2058
本文只有代码及注意力模块简介，YOLOv9中的添加教程：可以看之前的文章。
YOLOv9改进策略 | 添加注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
Snu77的博客
05-09 1821
这篇文章给大家带来的改进机制是一个汇总篇，包含一些简单的注意力机制，本来一直不想发这些内容的（网上教程太多了，发出来增加文章数量也没什么意义），但是群内的读者很多都问我这些机制所以单独出一期视频来汇总一些比较简单的注意力机制添加的方法和使用教程，本文的内容不会过度的去解释原理，更多的是从从代码的使用上和实用的角度出发去写这篇教程。欢迎大家订阅我的专栏一起学习YOLO！YOLOv9有效涨点专栏-持续复现各种顶会内容-有效涨点-全网改进最全的专栏目录一、本文介绍二、GAM2.1 GAM的介绍。
注意力特征融合
m0_47867638的博客
08-02 1264
特征融合，即来自不同层或分支的特征的组合，是现代网络架构中无处不在的一部分。它通常通过简单的操作来实现，如求和或拼接，但这可能不是最佳选择。在这项工作中，我们提出了一种统一且通用的方案，即注意力特征融合，它适用于大多数常见场景，包括由短连接和长连接引起的特征融合以及Inception层内的特征融合。为了更好地融合不一致的语义和尺度的特征，我们提出了一个多尺度通道注意力模块，该模块解决了在融合不同尺度特征时出现的问题。
YOLOv8改进 | 注意力机制 | 添加MSDA多尺度空洞注意力（全新的YOLOv8改进策略）
Snu77的博客
12-25 8835
本文给大家带来的改进机制是MSDA（多尺度空洞注意力）发表于今年的中科院一区(算是国内计算机领域的最高期刊了)，其全称是"DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition"。MSDA的主要思想是通过线性投影得到特征图X的相应查询、键和值。然后，将特征图的通道分成n个不同的头部，并在不同的头部中以不同的扩张率执行多尺度SWDA来提高模型的处理效率和检测精度。
YOLOv9改进策略 | 添加注意力篇 | 利用ILSVRC冠军得主SENetV1改善网络模型特征提取能力
Snu77的博客
04-20 1564
本文给大家带来的改进机制是SENet（Squeeze-and-Excitation Networks）其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制)。在SENet中，所谓的挤压和激励（Squeeze-and-Excitation）操作是作为一个单元添加到传统的卷积网络结构中。这样可以增强模型对通道间关系的捕获，提升整体的特征表达能力，而不需要从头开始设计一个全新的网络架构。因此。
YOLOv9改进策略 | 添加注意力篇 | TripletAttention三重注意力机制（附代码+机制原理+添加教程）
Snu77的博客
04-24 2108
本文给大家带来的改进是三重注意力机制。这个机制，它通过三个不同的视角来分析输入的数据，就好比三个人从不同的角度来观察同一幅画，然后共同决定哪些部分最值得注意。三重注意力机制的主要思想是在网络中引入了一种新的注意力模块，这个模块包含三个分支，分别关注图像的不同维度。比如说，一个分支可能专注于图像的宽度，另一个分支专注于高度，第三个分支则聚焦于图像的深度，即色彩和纹理等特征。这样一来，网络就能够更全面地理解图像内容，就像是得到了一副三维眼镜，能够看到图片的立体效果一样。
YOLOv9改进，YOLOv9添加可变形自注意力机制(DAttention)
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
07-12 524
在本文中，提出了一种新颖的可变形自注意模块，其中键和值对在自我注意中的位置是以数据相关的方式选择。这种灵活的方案使自我关注模块能够专注于相关的区域，并捕捉更多信息特征。在此基础上，提出了可变形注意力变换器，一个具有可变形注意力的两幅图像主干模型分类和密集预测任务。DAttention注意机制理论详解可以参考链接:论文地址）
YOLOv9有效提点|加入SE、CBAM、ECA、SimAM等几十种注意力机制（一）
深度学习炼丹师，偶尔分享炼丹技术!
03-01 7533
本文整合了二十余种注意力机制及在YOLOv9中的添加教程！
YOLOv9改进策略 | 添加注意力篇 | 挤压和激励单元SENetV2助力YOLOv9细节涨点（全网独家首发）
Snu77的博客
04-20 2110
本文给大家带来的改进机制是SENetV2，其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制但是相对于SENetV1来说V2又在全局的角度进行了考虑)。在SENet中，所谓的挤压和激励（Squeeze-and-Excitation）操作是作为一个单元添加到传统的卷积网络结构中，亲测大中小三中目标检测上都有一定程度的涨点效果。同时欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含
yolov8改进EMA注意力机制
03-10
### 改进 YOLOv8 的 EMA 和注意力机制 为了在 YOLOv8 中优化 EMA（指数移动平均）和注意力机制以提高模型性能，可以采取以下措施： #### 1. 实现 EMA 注意力机制模块 EMA 注意力机制通过引入指数加权移动平均来增强特征图的关注度。这有助于更好地捕捉长期依赖关系并减少噪声干扰。 ```python import torch import torch.nn as nn class EMA_Attention(nn.Module): def __init__(self, channels, gamma=0.9): super(EMA_Attention, self).__init__() self.gamma = gamma self.channels = channels self.conv = nn.Conv2d(channels, channels, kernel_size=1) def forward(self, x): b, c, h, w = x.size() ema_weight = torch.zeros_like(x).to(x.device) for i in range(h): for j in range(w): if i == 0 and j == 0: ema_weight[:, :, i, j] = x[:, :, i, j] else: prev_value = ema_weight[:, :, max(i-1, 0), max(j-1, 0)] current_value = x[:, :, i, j] ema_weight[:, :, i, j] = (1 - self.gamma) * current_value + self.gamma * prev_value out = self.conv(ema_weight) return out ``` 此代码实现了 EMA 注意力机制的核心逻辑[^1]。 #### 2. 修改 `__all__` 列表 为了让新添加的 EMA 注意力机制能够被正确导入，在文件中找到 `__all__` 变量，并在其列表中加入 `"EMA_attention"`，确保前后有逗号分隔开其他项[^2]。 ```python __all__ = ( &#39;some_module&#39;, &#39;another_module&#39;, &#39;EMA_attention&#39;, # 添加这一行 ) ``` #### 3. 导入自定义模块 编辑 `ultralytics/nn/tasks.py` 文件，在适当位置添加如下语句以便于后续调用该功能模块。 ```python from ultralytics.nn.modules.EMA_attention import EMA_attention ``` 这些改动使得可以在训练过程中应用 EMA 注意力机制，从而进一步提升检测精度与鲁棒性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挂科边缘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值