YOLOv9改进，YOLOv9添加EMA注意力机制

已于 2024-09-21 14:24:24 修改
阅读量92 收藏
点赞数
分类专栏： YOLOv9改进 文章标签： YOLO 目标检测 python 计算机视觉 人工智能 深度学习
于 2024-08-14 15:55:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44779079/article/details/141192993
版权
YOLOv9改进 专栏收录该内容
47 篇文章 6 订阅 ¥199.90 ¥299.90
订阅专栏

在这里插入图片描述

前言

在各种计算机视觉任务中，通道或空间注意力机制在生成更具辨识度的特征表示方面表现出显著的效果。然而，通过通道维度减少来建模跨通道关系可能会在提取深度视觉表示时带来副作用。本文提出了一种新颖的高效多尺度注意力（EMA）模块。该模块重点在于保留每个通道的信息并降低计算开销，我们将部分通道重新排列到批次维度，并将通道维度分组为多个子特征，使得空间语义特征在每个特征组内分布均匀。

EMA理论详解可以参考链接：论文地址
EMA代码可在这个链接找到：代码地址

本文在YOLOv9中引入EMA，代码已经整理好了，跟着文章复制粘贴，即可直接运行

目录

<
了解本专栏 订阅专栏 解锁全文
挂科边缘
关注
专栏目录
订阅专栏
YOLOv9改进，YOLOv9添加GAM注意力机制
weixin_44779079的博客
07-09 505
全局注意力机制（GAM），通过减少信息减少和放大全局交互表示来提高深度神经网络的性能。引入了带有多层感知器的 3D 排列，用于通道注意力以及卷积空间注意力子模块，GAM注意机制理论详解可以参考链接:论文地址）
YOLOv9改进策略【注意力机制篇】| EMA 即插即用模块，提高远距离建模依赖
最新发布
qq_42591591的博客
09-25 101
本文记录的是基于EMA模块的YOLOv9目标检测改进方法研究。EMA认为跨维度交互有助于通道或空间注意力预测，并且解决了现有注意力机制在提取深度视觉表示时可能带来的问题。YOLOv9。
yolov8添加注意力机制-学习记录
01-25
yolov8添加注意力机制-学习记录
YOLOv9改进策略 | 添加注意力篇 | 高效的注意力改进策略EMAttention注意力机制（附多个可添加位置）
Snu77的博客
05-07 1378
本文给大家带来的改进机制是EMAttention注意力机制，它的重塑部分通道到批次维度，并将通道维度分组为多个子特征，以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重，并通过跨维度交互来捕获像素级别的关系。本文首先给大家提供效果图(由基础版本未作任何修改和修改了本文的改进机制的效果对比图)，然后介绍其主要的原理，最后手把手教大家如何添加该注意力机制。YOLOv9有效涨点专栏-持续复现各种顶会内容-有效涨点-全网改进最全的专栏目录一、本文介绍。
YOLOv9改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制
qq_42591591的博客
08-22 1491
这篇文章带来一个经典注意力模块的汇总，虽然有些模块已经发布很久了，但后续的注意力模块也都是在此基础之上进行改进的，对于初学者来说还是有必要去学习了解一下，以加深对模块，模型的理解。
YOLOv9改进，YOLOv9添加NAM注意力机制并与RepNCSPELAN4结构融合
weixin_44779079的博客
08-31 152
我们提出了NAM作为一种高效且轻量级的注意机制。我们采用了CBAM中的模块整合方法，并重新设计了通道和空间注意子模块。然后，在每个网络块的末端嵌入NAM模块。对于残差网络，它被嵌入到残差结构的末端。我们还对空间维度应用BN的缩放因子来衡量像素的重要性。我们称之为像素归一化。对应的空间注意子模块如图2。NAM的优势1.高效性：通过使用BN的缩放因子，我们能够高效地衡量通道和像素的重要性，而不会显著增加计算复杂度。2.轻量级：NAM模块结构简单且易于嵌入现有网络架构中。
YOLOv8改进 | 注意力机制 | 添加MLCA混合局部通道注意力（轻量化注意力机制）
Snu77的博客
01-03 6530
本文带来的改进机制是MLCA(Mixed local channel attention)翻译来就是混合局部通道注意力，它结合了局部和全局特征以及通道和空间特征的信息，根据文章的内容来看他是一个轻量化的注意力机制，能够在增加少量参数量的情况下从而大幅度的提高检测精度(论文中是如此描述的)，根据我的实验内容来看，该注意力机制确实参数量非常少，效果也算不错，而且官方的代码中提供了二次创新的思想和视频讲解非常推荐大家观看。推荐指数：⭐⭐⭐⭐⭐涨点效果：⭐⭐⭐⭐⭐。
YoloV9改进策略：EMA注意力机制在YoloV9中的创新应用与显著性能提升|即插即用
m0_47867638的博客
08-07 1240
在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 11万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv5改进系列（16）——添加EMA注意力机制（ICASSP2023|实测涨点）
路人贾的博客
07-28 6557
ICASSP2023，yolov5添加EMA基于跨空间学习的高效多尺度注意力，超越CA，实测涨点！
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
weixin_51692073的博客
04-18 2437
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
注意力特征融合
m0_47867638的博客
08-02 830
特征融合，即来自不同层或分支的特征的组合，是现代网络架构中无处不在的一部分。它通常通过简单的操作来实现，如求和或拼接，但这可能不是最佳选择。在这项工作中，我们提出了一种统一且通用的方案，即注意力特征融合，它适用于大多数常见场景，包括由短连接和长连接引起的特征融合以及Inception层内的特征融合。为了更好地融合不一致的语义和尺度的特征，我们提出了一个多尺度通道注意力模块，该模块解决了在融合不同尺度特征时出现的问题。
YOLOv8改进 | 注意力机制 | 添加MSDA多尺度空洞注意力（全新的YOLOv8改进策略）
Snu77的博客
12-25 7395
本文给大家带来的改进机制是MSDA（多尺度空洞注意力）发表于今年的中科院一区(算是国内计算机领域的最高期刊了)，其全称是"DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition"。MSDA的主要思想是通过线性投影得到特征图X的相应查询、键和值。然后，将特征图的通道分成n个不同的头部，并在不同的头部中以不同的扩张率执行多尺度SWDA来提高模型的处理效率和检测精度。
YOLOv9改进策略 | 添加注意力篇 | 利用ILSVRC冠军得主SENetV1改善网络模型特征提取能力
Snu77的博客
04-20 1418
本文给大家带来的改进机制是SENet（Squeeze-and-Excitation Networks）其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制)。在SENet中，所谓的挤压和激励（Squeeze-and-Excitation）操作是作为一个单元添加到传统的卷积网络结构中。这样可以增强模型对通道间关系的捕获，提升整体的特征表达能力，而不需要从头开始设计一个全新的网络架构。因此。
YOLOv9改进策略 | 添加注意力篇 | TripletAttention三重注意力机制（附代码+机制原理+添加教程）
Snu77的博客
04-24 1965
本文给大家带来的改进是三重注意力机制。这个机制，它通过三个不同的视角来分析输入的数据，就好比三个人从不同的角度来观察同一幅画，然后共同决定哪些部分最值得注意。三重注意力机制的主要思想是在网络中引入了一种新的注意力模块，这个模块包含三个分支，分别关注图像的不同维度。比如说，一个分支可能专注于图像的宽度，另一个分支专注于高度，第三个分支则聚焦于图像的深度，即色彩和纹理等特征。这样一来，网络就能够更全面地理解图像内容，就像是得到了一副三维眼镜，能够看到图片的立体效果一样。
YOLOv9有效提点|加入SGE、Ge、Global Context、GAM等几十种注意力机制（四）
深度学习炼丹师，偶尔分享炼丹技术!
03-02 1852
本文只有代码及注意力模块简介，YOLOv9中的添加教程：可以看之前的文章。
YOLOv9改进，YOLOv9添加可变形自注意力机制(DAttention)
weixin_44779079的博客
07-12 376
在本文中，提出了一种新颖的可变形自注意模块，其中键和值对在自我注意中的位置是以数据相关的方式选择。这种灵活的方案使自我关注模块能够专注于相关的区域，并捕捉更多信息特征。在此基础上，提出了可变形注意力变换器，一个具有可变形注意力的两幅图像主干模型分类和密集预测任务。DAttention注意机制理论详解可以参考链接:论文地址）
YOLOv9有效提点|加入SE、CBAM、ECA、SimAM等几十种注意力机制（一）
深度学习炼丹师，偶尔分享炼丹技术!
03-01 6524
本文整合了二十余种注意力机制及在YOLOv9中的添加教程！
YOLOv9改进策略 | 添加注意力篇 | 挤压和激励单元SENetV2助力YOLOv9细节涨点（全网独家首发）
Snu77的博客
04-20 1963
本文给大家带来的改进机制是SENetV2，其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制但是相对于SENetV1来说V2又在全局的角度进行了考虑)。在SENet中，所谓的挤压和激励（Squeeze-and-Excitation）操作是作为一个单元添加到传统的卷积网络结构中，亲测大中小三中目标检测上都有一定程度的涨点效果。同时欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含
ema注意力机制结构图
08-31
抱歉，我目前无法绘制和展示图像。但是，我可以为您提供EMA（Exponential Moving Average，指数移动平均）注意力机制的结构描述。EMA注意力机制是一种用于自然语言处理任务的注意力机制，其核心思想是根据历史信息和当前输入信息的相关性来计算加权平均。 EMA注意力机制的结构如下： 1. 输入向量：首先，将输入序列（例如文本序列）表示为向量序列，每个向量代表一个输入。 2. 历史信息：使用预定义的历史窗口大小，选择最近的一部分输入向量作为历史信息。 3. 相似度计算：计算当前输入向量与历史信息中每个向量的相似度分数。可以使用余弦相似度或其他相似度度量方法来衡量它们之间的相似性。 4. 权重计算：使用softmax函数对相似度分数进行归一化，得到与历史信息中每个向量相关的权重。 5. 加权平均：将当前输入向量与相应的权重相乘，并对所有加权后的向量求和，得到历史信息的加权平均表示。 6. 模型融合：将加权平均表示与当前输入向量进行融合，以获得综合表示。 通过以上步骤，EMA注意力机制能够根据历史信息和当前输入的相关性，生成一个综合的表示向量，用于后续的任务处理。请注意，实际的EMA注意力机制可能会有一些变化和改进，具体的实现可能会根据任务需求和模型架构的不同而有所差异。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挂科边缘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值