深度学习论文: NAM: Normalization-based Attention Module及其PyTorch实现

最新推荐文章于 2025-04-07 09:10:27 发布
最新推荐文章于 2025-04-07 09:10:27 发布
阅读量4k 收藏 28
点赞数 4
分类专栏： Semantic Segmentation Deep Learning Paper Reading 文章标签： 算法 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanglianlm/article/details/121647828
版权

深度学习论文: NAM: Normalization-based Attention Module及其PyTorch实现
NAM: Normalization-based Attention Module
PDF: https://arxiv.org/pdf/2111.12419.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

NAM作为一种高效、轻量级的注意力机制。

  • NAM采用CBAM的模块整合，重新设计了通道和空间注意力子模块。
  • 在每个网络块的末端嵌入一个NAM模块。对于残差网络，它嵌入在残差结构的末端。
  • 利用权重的贡献因子来改善注意力机制。使用批归一化的比例因子，它使用标准差来表示权重的重要性。这可以避免添加SE、BAM和CBAM中使用的全连接层和卷积层。

2 NAM

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【YOLOv8改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 563
识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。
ResNet改进(12)：添加 NAMAttention 轻量级注意力机制
2401_82355416的博客
03-25 288
NAMAttention (Normalization-based Attention Module) 是一种基于归一化的轻量级注意力机制，它通过利用通道和空间维度上的归一化权重来增强特征表示。最终的特征图通过通道和空间注意力权重共同调整：Y = X ⊙ W_c ⊙ W_s。其中 γ_BN 和 β_BN 是BN层的可学习参数，σ 是sigmoid函数。计算通道权重：W_c = σ(γ_BN * X_BN + β_BN)计算空间权重：W_s = σ(γ_GN * X_GN + β_GN)
论文阅读NAM:Normalization-based Attention Module
m0_73832962的博客
02-26 2023
卷积块注意力模块（CBAM） (Woo et al. [2018]) 提供了一种按顺序嵌入通道和空间注意力子模块的解决方案，为了避免忽视跨维度交互，三重注意力模块（TAM）) (Misra et al. [2021]) 通过旋转特征图来考虑维度相关性。因此，我们的目标是通过利用训练的模型权重的方差测量来突出显著特征。在这项工作中，我们提出了一种新的基于归一化的注意力模块（NAM），它抑制了不太显著的权重。与Resnet和Mobilenet上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。
NAM: Normalization-based Attention Module，一种新的注意力计算方式，无需额外的参数...
AI公园
12-20 5421
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”导读本文介绍了一种新的计算注意力的方式，相比于之前的注意力机制，无需额外的全连接，卷积等额外的计算和参数，直接使用BN中的缩放因此...
【NAM】《NAM：Normalization-based Attention Module》
bryant_meng
12-22 434
提出 Normalization-based Attention Modul，在 resnet 和 mobilenet 上 验证了其有效性。看看作者开源的代码，https://github.com/Christian-lyc/NAM。文章篇幅较短，细节未可知，eg： pixel normalization 的具体实现。提升不是特别的明显，优势在于基本没有引入额外的参数量，下面具体看看参数量。乘以 4，仅看作者开源的代码的话，应该是乘以 2，也就是 BN 的参数量。
即插即用篇 | YOLOv8 引入 NAM 注意力机制 | 《NAM: Normalization-based Attention Module》
YOLOv8项目贡献者
03-06 1683
YOLOv8 引入 NAM 注意力机制 | 《NAM: Normalization-based Attention Module》
NAM: Normalization-based Attention Module——NAM: 基于归一化的注意力模块
Together_CZ的博客
02-01 1064
NAM:Normalization-basedAttentionModule——NAM:基于归一化的注意力模块
YOLOv8模型改进5【增加另外一种轻量高效的注意力机制-NAM-Attention（可选择多个位置）】
A__MP的博客
03-10 1543
本文主要介绍了将轻量高效的注意力机制NAM-Attention增加到YOLOv8模型上的改进方法，包括两个位置的实验。
2021NIPS | 即插即用,标准化注意力机制NAM
u011447962的博客
12-01 1万+
NAM: Normalization-based Attention Module paper:https://arxiv.org/pdf/2111.12419.pdf code:https://github.com/Christian-lyc/NAM 摘要 注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或通道。以往的许多研究都集中于通过注意力操作来捕捉显著特征。这些方法成功地利用了不同特征维度上的互信息。然而，它们没有考虑到权重的贡献因素，...
YOLOv8 改进：添加 NAM 注意力机制，融合 C2f 结构
最新发布
走向CTO的路上...
04-07 570
YOLOv8 是目标检测领域的最新一代 YOLO 模型，具备了更高的速度和精度，适用于实时应用场景。它通过改进网络架构和优化策略进一步提高了检测效果。通过在 YOLOv8 中集成 NAM 注意力机制和 C2f 结构，我们能够显著提升其对复杂场景的检测能力。这种改进不仅在精度方面表现出色，同时也兼顾了计算效率，为多种应用提供了更强的支持。在不断变化的技术环境中，掌握这些先进技术可以为解决更多实际问题铺平道路。
基于图的NAM表示及其上的显著性区域检测——硕士论文
03-14
基于图的NAM表示及其上的显著性区域检测——硕士毕业论文
【AI达人特训营】基于ResNet50的NAM注意力机制论文复现
m0_63642362的博客
06-23 1124
本项目源于百度AI达人训练营。通过论文的领读分析和代码解读，论文精读和飞桨（PaddlePaddle）代码复现相结合方式学习。一、论文解读 摘要本文提出一种基于归一化的注意力模块（NAM），可以降低不太显著的特征的权重，这种方式在注意力模块上应用了稀疏的权重惩罚，这使得这些权重在计算上更加高效，同时能够保持同样的性能。我们在ResNet和MobileNet上和其他的注意力方式进行了对比，我们的方法可以达到更高的准确率。1.介绍注意力机制在近年来大热，注意力机制可以帮助神经网络抑制通道中或者是空间中不太显著的
【YOLOv11改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-21 1509
【YOLOv11改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
即插即用 | 5行代码实现NAM注意力机制让ResNet、MobileNet轻松涨点(超越CBAM)
小白学视觉
06-07 3516
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达识别不显著特征是模型压缩的关键。然而，这一点在注意力机制中却没有得到研究。在这项工作中提出了一种新的基于规范化的注意力模块(NAM)，它抑制了较少显著性的权值。它对注意力模块应用一个权重稀疏惩罚，因此，在保持类似性能的同时，使它们更有效地计算。通过与ResNet和MobileNet上其他三种注意力机制的...
改进YOLOv5、YOLOv8系列：20.添加GAMAttention注意力机制
热门推荐
包括YOLOv5、YOLOv7、YOLOv8等模型改进
08-24 1万+
目标检测科研Trick改进推荐 | 包括Backbone、Neck、Head、注意力机制、IoU损失函数、NMS、Loss计算方式、自注意力机制、数据增强部分、激活函数
UNet 改进：添加NAMAttention 注意力机制提升网络对重要特征的关注度
Henry的博客
02-13 358
与传统的注意力机制（如 Self-Attention）不同，NAMAttention 通过归一化统计量（如均值、方差）来动态调整特征图的重要性，从而避免复杂的计算。NAMAttention 是一种简单高效的注意力机制，通过归一化操作生成注意力权重，增强模型的特征提取能力。：对特征图进行归一化（如 Batch Normalization 或 Layer Normalization），得到归一化后的特征 X^X^。：将生成的注意力权重 AA 与原始特征图 XX 相乘，得到加权后的特征图：Y=A⋅XY。
引入NAMAttention注意力机制
huizi1997的博客
04-24 952
作为当前先进的深度学习目标检测算法YOLOv7，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv7的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。
YOLOv8改进 - 注意力篇 - 引入NAM注意力机制
浪子L的博客
10-28 1492
YOLOv8改进 - 注意力篇 - 引入NAM注意力机制
NAM:Pytorch实现
01-04
### 如何用Pytorch实现神经网络模型 #### 导入必要的库 为了使用 PyTorch 实现神经网络，首先需要导入一些基本的库。这些库提供了张量操作、自动微分等功能，这些都是构建和训练神经网络所必需的基础工具[^2]。 ```python import torch import torch.nn as nn ``` #### 继承 `nn.Module` 类并定义初始化方法 创建自定义神经网络的关键在于让模型继承 `nn.Module` 类，并重写其构造函数 (`__init__`) 和前向传播函数 (`forward`) 方法。通过这种方式可以灵活地设计各种类型的神经网络架构[^1]。 ```python class SimpleNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleNN, self).__init__() # 定义各层参数 self.fc1 = nn.Linear(input_size, hidden_size) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_size, output_size) def forward(self, x): out = self.fc1(x) out = self.relu(out) out = self.fc2(out) return out ``` 上述代码片段展示了一个简单的两层全连接神经网络(`SimpleNN`) 的定义过程。该网络接收输入尺寸为 `input_size` 的数据，在经过一层线性变换后应用 ReLU 激活函数处理中间表示，最后再经由另一层线性映射得到最终输出结果[^4]。 #### 设置损失函数与优化器 除了建立好模型本身外，还需要指定合适的损失计算方式（Loss Function）以及更新权重的方法即优化算法(Optimizer)，以便能够有效地调整模型参数来最小化预测误差[^3]。 ```python criterion = nn.CrossEntropyLoss() # 对于多类别分类问题常用交叉熵作为loss function optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # Adam是一种常用的梯度下降法变种 ``` #### 训练循环 有了前面准备好的组件之后就可以进入实际的学习阶段——迭代整个数据集多次执行反向传播从而不断改进模型性能了；每一次完整的遍历称为一个 epoch 。在此期间会持续监控验证集上的表现以防止过拟合现象发生。 ```python for epoch in range(num_epochs): for i, (images, labels) in enumerate(train_loader): images = images.view(-1, 28*28).to(device) labels = labels.to(device) outputs = model(images) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() if (i+1) % 100 == 0: print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' .format(epoch+1, num_epochs, i+1, total_step, loss.item())) ``` 这段伪代码展示了典型的训练流程框架，其中包含了获取批次样本、正向传递获得预测值、依据真实标签计算当前 batch 上平均错误程度(loss value)、清零累积梯度、基于新产生的 error 反馈调节内部参数等一系列核心步骤。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mingo_敏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值