YOLOv10改进策略【注意力机制篇】| NAM 即插即用模块，重新优化通道和空间注意力（含二次创新）

已于 2024-10-11 15:32:22 修改
阅读量902 收藏 22
点赞数 32
分类专栏： YOLOv10改进专栏 文章标签： YOLO 目标检测 计算机视觉 深度学习
于 2024-10-08 11:06:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/142583917
版权
YOLOv10改进专栏 专栏收录该内容
104 篇文章 4 订阅 ¥69.90 ¥99.00
订阅专栏

一、本文介绍

本文记录的是基于NAM模块的YOLOv10目标检测改进方法研究。 许多先前的研究专注于通过注意力操作捕获显著特征，但缺乏对权重贡献因素的考虑，而这些因素能够进一步抑制不重要的通道或像素。而本文利用NAM改进YOLOv10，通过权重的贡献因素来改进注意力机制，提高模型精度。

专栏目录：YOLOv10改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv10改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

了解本专栏 订阅专栏 解锁全文
【第31篇】NAM：基于标准化的注意力模块
m0_47867638的博客
06-23 327
论文地址：https://arxiv.org/abs/2111.12419识别不太显着的特征是模型压缩的关键。然而，它尚未在革命性的注意力机制中进行研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），它抑制了不太显着的权重。它将权重稀疏惩罚应用于注意力模块，从而使它们在保持相似性能的同时具有更高的计算效率。与 Resnet 和 Mobilenet 上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。
YOLOv8优化：注意力系列篇 |基于标准化的注意力模块NAM，效果秒杀CBAM、SE
会AI的学姐
10-27 1889
NAM注意力，引入到YOLOv8，多种实现方式
论文阅读NAM:Normalization-based Attention Module
m0_73832962的博客
02-26 1666
卷积块注意力模块（CBAM） (Woo et al. [2018]) 提供了一种按顺序嵌入通道和空间注意力子模块的解决方案，为了避免忽视跨维度交互，三重注意力模块（TAM）) (Misra et al. [2021]) 通过旋转特征图来考虑维度相关性。因此，我们的目标是通过利用训练的模型权重的方差测量来突出显著特征。在这项工作中，我们提出了一种新的基于归一化的注意力模块（NAM），它抑制了不太显著的权重。与Resnet和Mobilenet上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。
YOLOv9改进策略：注意力机制 | 归一化的注意力模块（NAM）
03-17 1214
NAM作为一种高效且轻量级的注意力机制。采用了CBAM的模块集成并重新设计了通道和空间注意子模块。
YOLOv5、YOLOv8改进：NAMAttention注意力机制
weixin_45303602的博客
08-28 954
摘要注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或通道。以往的许多研究都集中于通过注意力操作来捕捉显著特征。这些方法成功地利用了不同特征维度上的互信息。然而，它们没有考虑到权重的贡献因素，而权重能够进一步抑制不重要的信道或像素。本文利用权重的贡献因素来改善注意机制。使用一个批处理（BN）归一化的缩放因子，它使用标准偏差来表示权重的重要性。这可以避免添加在SE、BAM和CBAM中使用的全连接和卷积层。因此，提出了一种有效的注意机制——基于标准化的注意模块(NAM)。
YOLOv10改进策略【注意力机制篇】| EMA 即插即用模块，提高远距离建模依赖（含二次创新）
qq_42591591的博客
10-08 1081
本文记录的是基于EMA模块的YOLOv10目标检测改进方法研究。EMA认为跨维度交互有助于通道或空间注意力预测，并且解决了现有注意力机制在提取深度视觉表示时可能带来的问题。YOLOv10。
YOLOv11改进策略【注意力机制篇】| NAM 即插即用模块，重新优化通道和空间注意力
最新发布
qq_42591591的博客
10-11 341
本文记录的是基于NAM模块的YOLOv11目标检测改进方法研究。 许多先前的研究专注于通过注意力操作捕获显著特征，但缺乏对权重贡献因素的考虑，而这些因素能够进一步抑制不重要的通道或像素。而本文利用改进，通过权重的贡献因素来改进注意力机制，提高模型精度。NAM: Normalization-based Attention Module注意力模块的设计的原理和优势如下：​Bin​−μB​​+β，其中μB\mu_{B}μB​和σB\sigma_{B}σB​分别是小批量BBB的均值和标准差；γ\gammaγ和β\b
YoloV9改进策略：EMA注意力机制在YoloV9中的创新应用与显著性能提升|即插即用
m0_47867638的博客
08-07 1240
在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
YoloV8改进策略：EMA注意力机制在YoloV8中的创新应用与显著性能提升|即插即用
m0_47867638的博客
06-24 5784
在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
YOLOv8模型改进5【增加另外一种轻量高效的注意力机制-NAM-Attention（可选择多个位置）】
A__MP的博客
03-10 1224
本文主要介绍了将轻量高效的注意力机制NAM-Attention增加到YOLOv8模型上的改进方法，包括两个位置的实验。
【YOLOv8改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 284
识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。
目标检测算法——YOLOv5/YOLOv7改进之结合NAMAttention（提升涨点）
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
10-31 9151
论文题目：NAM: Normalization-based Attention Module作者提出了一种基于归一化的注意力模块（NAMAttention），可以降低不太显著的特征的权重，这种方式在注意力模块上应用了稀疏的权重惩罚，这使得这些权重在计算上更加高效，同时能够保持同样的性能。在ResNet和MobileNet上和其他的注意力方式进行了对比，该方法可以达到更高的准确率。
注意力机制篇 | YOLOv8改进之引入NAMAttention注意力机制 | 基于标准化的注意力模块
突然好想你
08-15 383
本文提出一种基于归一化的注意力模块（NAM），可以降低不太显著的特征的权重，这种方式在注意力模块上应用了稀疏的权重惩罚，这使得这些权重在计算上更加高效，同时能够保持同样的性能。我们在ResNet和MobileNet上和其他的注意力方式进行了对比，我们的方法可以达到更高的准确率。🌈
YOLOv10涨点改进：自研检测头 | 独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点
06-13 1471
独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点
【第23篇】NAM：基于标准化的注意力模块
AI浩
12-22 6735
摘要 识别不太显着的特征是模型压缩的关键。 然而，它尚未在革命性的注意力机制中进行研究。 在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），它抑制了不太显着的权重。 它将权重稀疏惩罚应用于注意力模块，从而使它们在保持相似性能的同时具有更高的计算效率。 与 Resnet 和 Mobilenet 上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。 本文的代码可以在 https://github.com/Christian-lyc/NAM 公开访问。 1 简介 注意力机制是近年来的热
YOLOv5、v7改进之三十六：融入NAM注意力机制
m0_70388905的博客
10-18 4482
YOLOv5、v7改进之三十五：引入NAM注意力机制。关注免费领取深度学习算法学习资料！
即插即用 | 5行代码实现NAM注意力机制让ResNet、MobileNet轻松涨点(超越CBAM)
小白学视觉
06-07 3347
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达识别不显著特征是模型压缩的关键。然而，这一点在注意力机制中却没有得到研究。在这项工作中提出了一种新的基于规范化的注意力模块(NAM)，它抑制了较少显著性的权值。它对注意力模块应用一个权重稀疏惩罚，因此，在保持类似性能的同时，使它们更有效地计算。通过与ResNet和MobileNet上其他三种注意力机制的...
即插即用！5行代码实现NAM注意力机制，让ResNet轻松涨点！
阿木寺的博客
12-01 7099
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童识别不显著特征是模型压缩的关键。然而，这一点在注意力机制中却没有得到研究。在这项工作中提出了一种新的基于...
YOLOv5添加NAM注意力机制
07-27
YOLOv5添加NAM（Non-local Attention Module）注意力机制可以提高物体检测的性能和精确度。下面是一种可能的实现方法： 1. 在YOLOv5的网络结构中，找到适合插入NAM的位置。通常，可以在主干特征提取网络的某个阶段进行插入，比如在卷积层或者残差块之后。 2. 在插入位置之后，引入NAM模块。NAM模块的目标是引入全局上下文信息，并且使不同位置的特征之间能够相互交流。NAM模块通常包括以下几个步骤： a. 先将输入特征图进行三次降维操作，分别得到三个降维特征图（query、key、value），用于计算注意力权重。 b. 将query、key特征图进行相乘，得到注意力权重图。 c. 注意力权重图与value特征图相乘，得到加权特征图。 d. 将加权特征图与输入特征图进行残差连接，得到输出特征图。 3. 在YOLOv5的训练过程中，需要通过反向传播来调整NAM模块内部的参数，以使其能够学习到适合当前任务的注意力权重。 需要注意的是，以上只是一种可能的实现方法，具体的细节和参数设置可能需要根据具体的应用场景和实验结果进行调整。此外，添加NAM注意力机制可能会增加模型的计算量和复杂度，因此在实际应用中需要权衡性能和效果之间的平衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值