
原论文摘要
一种新的基于归一化的注意力模块(NAM),该模块可以抑制不太显著的权重。它对注意力模块应用权重稀疏性惩罚,从而使它们在保持类似性能的同时更具计算效率。与在 Resnet 和 Mobilenet 上的其他三种注意力机制的比较表明,我们的方法在准确性方面更高。
NAM介绍
我们提出了NAM作为一种高效且轻量级的注意机制。我们采用了CBAM中的模块整合方法,并重新设计了通道和空间注意子模块。然后,在每个网络块的末端嵌入NAM模块。对于残差网络,它被嵌入到残差结构的末端。
我们还对空间维度应用BN的缩放因子来衡量像素的重要性。我们称之为像素归一化。对应的空间注意子模块如图2。
NAM的优势
1.高效性:通过使用BN的缩放因子,我们能够高效地衡量通道和像素的重要性,而不会显著增加计算复杂度。
2.轻量级:NAM模块结构简单且易于嵌入现有网络架构中。
3.性能提升:通过对显著性较低的权重进行抑制,NAM能够提高模型的性能。
这些特性使得NAM成为一种高效且实用的注意机制,能够在多种计算机视觉任务中实现性能提升。

NAM理论详解可以参考链接:论文地址
NAM代码可在这个链接找到:代码地址
本文在YOLOv8中引入NAM注意力机制,融合C2f结构代码已经整理好了,跟着文章复制粘贴,即可直接运行
订阅专栏 解锁全文
789

被折叠的 条评论
为什么被折叠?



