YOLOv10涨点改进：注意力魔改 | SimAM（无参Attention），一种轻量级的自注意力机制，效果秒杀CBAM、SE

已于 2024-07-04 15:26:29 修改
阅读量2k 收藏 25
点赞数 8
分类专栏： YOLOv10魔术师 文章标签： YOLO caffe 目标检测 microsoft 算法
于 2024-05-31 20:47:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63774211/article/details/139339837
版权

 💡💡💡本文改进：替换YOLOv10中的PSA进行二次创新，1）CoordAttention注意力替换 PSA中的多头自注意力模块MHSA注意力；2） CoordAttention直接替换 PSA；

💡💡💡SimAM是一种轻量级的自注意力机制，其网络结构与Transformer类似，但是在计算注意力权重时使用的是线性层而不是点积

改进1结构图：

改进2结构图： 

 《YOLOv10魔术师专栏》将从以下各个方向进行创新：

【原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【小目标性能提升】【前沿论文分享】【训练实战篇】

订阅者通过添加WX: AI_CV_0624，入群沟通，提供改进结构图等一系列定制化服务。

定期向订阅者提供源码工程，配合博客使用。

订阅者可以申请发票，便于报销 

💡💡💡为本专栏订阅者提供创新点改进代码，改进网络结构图，方便paper写作！！！

💡💡💡适用场景：红外、小目标检测、工业缺陷检测、医学影像、遥感目标检测、低对比度场景

💡💡💡适用任务：所有改进点适用【检测】、【分割】、【pose】、【分类】等

💡💡💡全网独家首发创新，【自研多个自研模块】，【多创新点组合适合paper 】！！！

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

包含注意力机制魔改、卷积魔改、检测头创新、损失&IOU优化、block优化&多层特征融合、 轻量级网络设计、24年最新顶会改进思路、原创自研paper级创新等

🚀🚀🚀 本项目持续更新 | 更新完结保底≥80+ ，冲刺100+ 🚀🚀🚀

🍉🍉🍉 联系WX: AI_CV_0624 欢迎交流！🍉🍉🍉

⭐⭐⭐专栏涨价趋势 159 ->199->259->299，越早订阅越划算⭐⭐⭐

💡💡💡 2024年计算机视觉顶会创新点适用于Yolov5、Yolov7、Yolov8、Yolov9等各个Yolo系列，专栏文章提供每一步步骤和源码，轻松带你上手魔改网络 ！！！

💡💡💡重点：通过本专栏的阅读，后续你也可以设计魔改网络，在网络不同位置（Backbone、head、detect、loss等）进行魔改，实现创新！！！

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

1.YOLOv10介绍

论文： https://arxiv.org/pdf/2405.14458

代码： GitHub - THU-MIG/yolov10: YOLOv10: Real-Time End-to-End Object Detection

摘要：在过去的几年里，由于其在计算成本和检测性能之间的有效平衡，YOLOS已经成为实时目标检测领域的主导范例。研究人员已经探索了YOLOS的架构设计、优化目标、数据增强策略等，并取得了显著进展。然而，对用于后处理的非最大抑制（NMS）的依赖妨碍了YOLOS的端到端部署，并且影响了推理延迟。此外，YOLOS中各部件的设计缺乏全面和彻底的检查，导致明显的计算冗余，限制了模型的性能。这导致次优的效率，以及相当大的性能改进潜力。在这项工作中，我们的目标是从后处理和模型架构两个方面进一步推进YOLOS的性能-效率边界。为此，我们首先提出了用于YOLOs无NMS训练的持续双重分配，该方法带来了有竞争力的性能和低推理延迟。此外，我们还介绍了YOLOS的整体效率-精度驱动模型设计策略。我们从效率和精度两个角度对YOLOS的各个组件进行了全面优化，大大降低了计算开销，增强了性能。我们努力的成果是用于实时端到端对象检测的新一代YOLO系列，称为YOLOV10。广泛的实验表明，YOLOV10在各种模型规模上实现了最先进的性能和效率。例如，在COCO上的类似AP下，我们的YOLOV10-S比RT-DETR-R18快1.8倍，同时具有2.8倍更少的参数和FLOPS。与YOLOV9-C相比，YOLOV10-B在性能相同的情况下，延迟减少了46%，参数减少了25%。

​​​​

1.1  C2fUIB介绍

为了解决这个问题，我们提出了一种基于秩的块设计方案，旨在通过紧凑的架构设计降低被证明是冗余的阶段复杂度。我们首先提出了一个紧凑的倒置块（CIB）结构，它采用廉价的深度可分离卷积进行空间混合，以及成本效益高的点对点卷积进行通道混合

C2fUIB只是用CIB结构替换了YOLOv8中 C2f的Bottleneck结构

实现代码ultralytics/nn/modules/block.py

​​​​

​​​​

1.2  PSA介绍

具体来说，我们在1×1卷积后将特征均匀地分为两部分。我们只将一部分输入到由多头自注意力模块（MHSA）和前馈网络（FFN）组成的NPSA块中。然后，两部分通过1×1卷积连接并融合。此外，遵循将查询和键的维度分配为值的一半，并用BatchNorm替换LayerNorm以实现快速推理。

实现代码ultralytics/nn/modules/block.py

​​​​

1.3 SCDown

OLOs通常利用常规的3×3标准卷积，步长为2，同时实现空间下采样（从H×W到H/2×W/2）和通道变换（从C到2C）。这引入了不可忽视的计算成本O(9HWC^2)和参数数量O(18C^2)。相反，我们提议将空间缩减和通道增加操作解耦，以实现更高效的下采样。具体来说，我们首先利用点对点卷积来调整通道维度，然后利用深度可分离卷积进行空间下采样。这将计算成本降低到O(2HWC^2 + 9HWC)，并将参数数量减少到O(2C^2 + 18C)。同时，它最大限度地保留了下采样过程中的信息，从而在减少延迟的同时保持了有竞争力的性能。

实现代码ultralytics/nn/modules/block.py

2. SimAM:无参Attention

论文： http://proceedings.mlr.press/v139/yang21o/yang21o.pdf

        SimAM（Simple Attention Mechanism）是一种轻量级的自注意力机制，其网络结构与Transformer类似，但是在计算注意力权重时使用的是线性层而不是点积。其网络结构如下：

输入序列 -> Embedding层 -> Dropout层 -> 多层SimAM层 -> 全连接层 -> Softmax层 -> 输出结果

其中，SimAM层由以下几个部分组成：

  1. 多头注意力层：输入序列经过多个线性映射后，分成多个头，每个头计算注意力权重。

  2. 残差连接层：将多头注意力层的输出与输入序列相加，保证信息不会丢失。

  3. 前向传递层：对残差连接层的输出进行线性变换和激活函数处理，再与残差连接层的输出相加。

  4. 归一化层：对前向传递层的输出进行层归一化处理，加速训练并提高模型性能。

通过多层SimAM层的堆叠，模型可以学习到输入序列中的长程依赖关系，并生成对应的输出序列。

 

 在不增加原始网络参数的情况下，为特征图推断三维注意力权重
1、提出优化能量函数以发掘每个神经元的重要性
2、针对能量函数推导出一种快速解析解，不超过10行代码即可实现。 

表格给出了ImageNet数据集上不同注意力机制的性能对比，从中可以看到：

  • 所有注意力模块均可以提升基线模型的性能；
  • 所提SimAM在ResNet18与ResNet101基线上取得了最佳性能提升；
  • 对于ResNet34、ResNet50、ResNeXt50、MobileNetV2，所提SimAM仍可取得与其他注意力相当性能；
  • 值得一提的是，所提SimAM并不会引入额外的参数；
  • 在推理速度方面，所提SimAM与SE、ECA相当，优于CBAM、SRM。

​

 3.SimAM如何加入到YOLOv10

3.1新建ultralytics/nn/attention/attention.py

######################  SimAM   ####     start   by  AI&CV  ###############################
import torch
from torch import nn
from torch.nn import init
import torch.nn.functional as F

from ultralytics.nn.modules.conv import Conv

class SimAM(torch.nn.Module):
    def __init__(self,c1, e_lambda=1e-4):
        super(SimAM, self).__init__()

        self.activaton = nn.Sigmoid()
        self.e_lambda = e_lambda

    def __repr__(self):
        s = self.__class__.__name__ + '('
        s += ('lambda=%f)' % self.e_lambda)
        return s

    @staticmethod
    def get_module_name():
        return "simam"

    def forward(self, x):
        b, c, h, w = x.size()

        n = w * h - 1

        x_minus_mu_square = (x - x.mean(dim=[2, 3], keepdim=True)).pow(2)
        y = x_minus_mu_square / (4 * (x_minus_mu_square.sum(dim=[2, 3], keepdim=True) / n + self.e_lambda)) + 0.5

        return x * self.activaton(y)

class PSSimAM(nn.Module):

    def __init__(self, c1, c2, e=0.5):
        super().__init__()
        assert (c1 == c2)
        self.c = int(c1 * e)
        self.cv1 = Conv(c1, 2 * self.c, 1, 1)
        self.cv2 = Conv(2 * self.c, c1, 1)

        self.attn = SimAM(self.c)
        self.ffn = nn.Sequential(
            Conv(self.c, self.c * 2, 1),
            Conv(self.c * 2, self.c, 1, act=False)
        )

    def forward(self, x):
        a, b = self.cv1(x).split((self.c, self.c), dim=1)
        b = b + self.attn(b)
        b = b + self.ffn(b)
        return self.cv2(torch.cat((a, b), 1))
######################  SimAM   ####     end   by  AI&CV  ###############################

3.2 修改tasks.py

1)首先进行引用定义

from ultralytics.nn.attention.attention import *

2）修改def parse_model(d, ch, verbose=True):  # model_dict, input_channels(3)

只需要在你源码基础上加入SimAM,PSSimAM（切勿直接复制过去）

n = n_ = max(round(n * depth), 1) if n > 1 else n  # depth gain
        if m in {
            Classify,
            Conv,
            ConvTranspose,
            GhostConv,
            Bottleneck,
            GhostBottleneck,
            SPP,
            SPPF,
            DWConv,
            Focus,
            BottleneckCSP,
            C1,
            C2,
            C2f,
            RepNCSPELAN4,
            ADown,
            SPPELAN,
            C2fAttn,
            C3,
            C3TR,
            C3Ghost,
            nn.ConvTranspose2d,
            DWConvTranspose2d,
            C3x,
            RepC3,
            PSA,SimAM,PSSimAM
            SCDown,
            C2fCIB
        }:
            c1, c2 = ch[f], args[0]
            if c2 != nc:  # if c2 not equal to number of classes (i.e. for Classify() output)
                c2 = make_divisible(min(c2, max_channels) * width, 8)
            if m is C2fAttn:
                args[1] = make_divisible(min(args[1], max_channels // 2) * width, 8)  # embed channels
                args[2] = int(
                    max(round(min(args[2], max_channels // 2 // 32)) * width, 1) if args[2] > 1 else args[2]
                )  # num heads

            args = [c1, c2, *args[1:]]
            if m in (BottleneckCSP, C1, C2, C2f, C2fAttn, C3, C3TR, C3Ghost, C3x, RepC3, C2fCIB):
                args.insert(2, n)  # number of repeats
                n = 1

 ​

3.3 yolov10n-SimAM.yaml

​

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024] 

# YOLOv8.0n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  - [-1, 3, C2f, [128, True]]
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  - [-1, 6, C2f, [256, True]]
  - [-1, 1, SCDown, [512, 3, 2]] # 5-P4/16
  - [-1, 6, C2f, [512, True]]
  - [-1, 1, SCDown, [1024, 3, 2]] # 7-P5/32
  - [-1, 3, C2f, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]] # 9
  - [-1, 1, SimAM, [1024]] # 10

# YOLOv8.0n head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 3, C2f, [512]] # 13

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 4], 1, Concat, [1]] # cat backbone P3
  - [-1, 3, C2f, [256]] # 16 (P3/8-small)

  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 13], 1, Concat, [1]] # cat head P4
  - [-1, 3, C2f, [512]] # 19 (P4/16-medium)

  - [-1, 1, SCDown, [512, 3, 2]]
  - [[-1, 10], 1, Concat, [1]] # cat head P5
  - [-1, 3, C2fCIB, [1024, True, True]] # 22 (P5/32-large)

  - [[16, 19, 22], 1, v10Detect, [nc]] # Detect(P3, P4, P5)

3.4 yolov10n-PSSimAM.yaml

​

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024] 

# YOLOv8.0n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  - [-1, 3, C2f, [128, True]]
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  - [-1, 6, C2f, [256, True]]
  - [-1, 1, SCDown, [512, 3, 2]] # 5-P4/16
  - [-1, 6, C2f, [512, True]]
  - [-1, 1, SCDown, [1024, 3, 2]] # 7-P5/32
  - [-1, 3, C2f, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]] # 9
  - [-1, 1, PSSimAM, [1024]] # 10

# YOLOv8.0n head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 3, C2f, [512]] # 13

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 4], 1, Concat, [1]] # cat backbone P3
  - [-1, 3, C2f, [256]] # 16 (P3/8-small)

  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 13], 1, Concat, [1]] # cat head P4
  - [-1, 3, C2f, [512]] # 19 (P4/16-medium)

  - [-1, 1, SCDown, [512, 3, 2]]
  - [[-1, 10], 1, Concat, [1]] # cat head P5
  - [-1, 3, C2fCIB, [1024, True, True]] # 22 (P5/32-large)

  - [[16, 19, 22], 1, v10Detect, [nc]] # Detect(P3, P4, P5)

欢迎点赞关注  订阅专栏，文末附微信！！！

欢迎点赞关注  订阅专栏，文末附微信！！！

欢迎点赞关注  订阅专栏，文末附微信！！！

【YOLO8改进- 注意力机制】YOLOv8+simAM: 基于YOLOv8的深度卷积注意力机制，提取深层语义信息，高效涨点；
qq_41304809的博客
11-02 547
SimAM:ASimple,Parameter-Free Attention Module for Convolutional Neural Networks 注意力机制的详细信息SimAM（Similarity - Aware Activation Module）注意力机制是一种新颖的注意力机制。它受到神经科学中空域抑制现象的启发，通过度量神经元之间的线性可分性来确定其重要性。
轻量化注意力机制模型详解及代码复现
最新发布
hasakie的博客
03-16 182
通过精心设计的损失函数，LANMSFF模型能够更好地捕捉图像中的关键特征，提高预测的准确性和模型的泛化能力，从而在各种实际应用中展现出优异的性能。通过这些创新设计，LANMSFF模型能够在不同尺度和复杂度的任务中保持良好的性能，同时保持较低的模型复杂度，为实际应用提供了更广泛的可能性。通过将输入特征图沿着通道维度拆分为多个组，然后对每个组分别应用注意力机制，最后再将这些组的特征进行融合，模型能够更有效地捕捉不同尺度和层次的特征信息，从而提高模型的泛化能力。
目标检测算法——YOLOv5/YOLOv7改进之结合无参注意力SimAM（涨点神器）
热门推荐
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
10-24 1万+
目标检测算法——YOLOv5/YOLOv7改进之结合无参注意力SimAM
YOLOv10涨点改进：自研检测头 | 独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点
06-13 1913
独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点
【YOLOv8改进-注意力机制】Polarized Self-Attention: 极化自注意力 ,更精细的双重注意力建模结构
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
04-07 1592
像素级回归可能是细粒度计算机视觉任务中最常见的问题，例如估计关键点热图和分割掩模。这些回归问题非常具有挑战性，特别是因为它们需要在低计算开销下对高分辨率输入/输出建模长距离依赖关系，以估计高度非线性的像素级语义。尽管深度卷积神经网络（DCNNs）中的注意机制已经流行起来，用于增强长距离依赖关系，但是元素特定的注意力，例如非局部块，学习起来非常复杂且对噪声敏感，而大多数简化的注意力混合体试图在多种任务类型之间达到最佳折衷。
【第23篇】NAM：基于标准化的注意力模块
AI浩
12-22 6916
摘要 识别不太显着的特征是模型压缩的关键。 然而，它尚未在革命性的注意力机制中进行研究。 在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），它抑制了不太显着的权重。 它将权重稀疏惩罚应用于注意力模块，从而使它们在保持相似性能的同时具有更高的计算效率。 与 Resnet 和 Mobilenet 上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。 本文的代码可以在 https://github.com/Christian-lyc/NAM 公开访问。 1 简介 注意力机制是近年来的热
【YOLOv8改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 559
识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。
2021刷新COCO和Cityscapes | Polarized Self-Attention：极化自注意力机制（keras实现）
u011447962的博客
08-03 3617
Polarized Self-Attention: Towards High-quality Pixel-wise Regression paper:https://arxiv.org/pdf/2107.00782.pdf code:https://github.com/DeLightCMU/PSA def _PSA(x, mode='p'): context_channel = spatial_pool(x, mode) if mode == 'p': con...
YOLOv12涨点优化：注意力魔改 | SimAM（无参Attention），一种轻量级的自注意力机制，效果秒杀CBAM、SE
02-28 144
SimAM是一种轻量级的自注意力机制，其网络结构与Transformer类似，但是在计算注意力权重时使用的是线性层而不是点积
YOLO11涨点优化：注意力魔改 | SimAM（无参Attention），一种轻量级的自注意力机制，效果秒杀CBAM、SE
10-09 655
SimAM是一种轻量级的自注意力机制，其网络结构与Transformer类似，但是在计算注意力权重时使用的是线性层而不是点积
YOLOv10全网首发：注意力独家魔改 | 具有切片操作的SimAM注意力，魔改SimAM助力小目标检测
08-15 1767
魔改SimAM注意力，引入切片操作，增强小目标特征提取能力
YOLOv8全网首发：注意力独家魔改 | 具有切片操作的SimAM注意力，魔改SimAM助力小目标检测
08-14 1296
本文创新：魔改SimAM注意力，引入切片操作，增强小目标特征提取能力
深入了解YOLO v7：多尺度特征融合与横向连接
牛肉胡辣汤
10-16 2179
YOLO（You Only Look Once）是一种基于深度学习的目标检测算法，由Joseph Redmon等人于2016年提出。YOLO算法具有实时性和高准确率的特点，快速地在图像中预测出目标的位置和类别。自YOLO算法提出以来，YOLO系列经历了多个版本的迭代和改进。每个版本都在原有算法的基础上提出了新的设计思路和技术方法。YOLO v2在YOLO v1的基础上引入了Anchor boxes和Darknet-19网络结构，并在准确率和速度上有所提升。
YOLOv10涨点改进：如何魔改注意力进行二次创新，高效替换PSA | NEU-DET为案列进行展开
05-28 5944
在NEU-DET案列进行可行性验证，1）mAP50从0.683提升至0.698；2）mAP50从0.683提升至0.695;
YOLOv10改进 | 注意力篇 | YOLOv10引入Polarized Self-Attention注意力机制
tsg6698的博客
06-17 633
在本文中，我们提出了偏振自注意力（PSA）模块，它结合了高质量像素级回归的两个关键设计：（1）偏振过滤：在通道和空间注意力计算中保持高内部分辨率，同时完全折叠输入张量 它们的对应尺寸。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~：PSA在通道和空间注意力计算中保持高内部分辨率，同时沿着其对应的维度完全折叠输入张量。
YOLOv8改进（一）-- 轻量化模型ShuffleNetV2
qq_44231797的博客
06-02 4470
YOLOv8；ShuffleNetV2
NAM: Normalization-based Attention Module，一种新的注意力计算方式，无需额外的参数...
AI公园
12-20 5418
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”导读本文介绍了一种新的计算注意力的方式，相比于之前的注意力机制，无需额外的全连接，卷积等额外的计算和参数，直接使用BN中的缩放因此...
霸榜COCO和Cityscapes！南理工&CMU提出极化自注意力，更精细的双重注意力建模结构
极市平台的技术博客
07-15 2382
作者丨小马 编辑丨极市平台 【写在前面】 注意力机制是一个被广泛应用在各种CV任务中的方法。注意力机制根据施加的维度大致可以分为两类：通道注意力和空间注意力。对于通道注意力机制，代表性的工作有SENet[2]、ECANet[3]；对于空间注意力机制，代表性的工作有Self-Attention[4]。随着空间和通道注意力机制的提出，很自然的，结合空间和通道两个维度的双重注意力机制也被提出，代表工作有CBAM[1]，DANet[5]。 基于双重注意力机制，本文针对Pixel-wise regression的任务
YOLOv9全网最新改进系列：YOLOv9完美融合标准化的注意力模块NAM，高效且轻量级的归一化注意力机制，助力目标检测再上新台阶！
B站 Ai学术叫叫兽的文案地
05-08 1305
YOLOv9全网最新改进系列：YOLOv9完美融合标准化的注意力模块NAM，高效且轻量级的归一化注意力机制，助力目标检测再上新台阶！
CBAM魔改
03-08
### 修改和改进CBAM通道注意力机制的方法 #### 1. 调整池化操作 传统的CBAM采用最大池化和平均池化两种方式来获取全局信息。可以考虑引入更多类型的池化操作，如自适应池化或加权池化，以更灵活地提取特征。 ```python import torch.nn as nn class CustomChannelAttention(nn.Module): def __init__(self, channel, reduction=16): super(CustomChannelAttention, self).__init__() # 自定义池化层 self.max_pool = nn.AdaptiveMaxPool2d(1) self.avg_pool = nn.AdaptiveAvgPool2d(1) # 新增其他池化方式 self.weighted_pool = WeightedPoolingLayer() self.fc = nn.Sequential( nn.Linear(channel, channel // reduction), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel) ) def forward(self, x): max_out = self.fc(self.max_pool(x).view(x.size(0), -1)) avg_out = self.fc(self.avg_pool(x).view(x.size(0), -1)) weighted_out = self.fc(self.weighted_pool(x).view(x.size(0), -1)) out = max_out + avg_out + weighted_out return out.unsqueeze(2).unsqueeze(3).expand_as(x) ``` #### 2. 增强非线性变换 在原有基础上增加更多的非线性激活函数，使模型具有更强的学习能力。例如，在全连接层之间加入ReLU、Leaky ReLU或其他激活函数。 ```python def __init__(self, channel, reduction=16): ... self.fc = nn.Sequential( nn.Linear(channel, channel // reduction), nn.LeakyReLU(negative_slope=0.2, inplace=True), nn.Linear(channel // reduction, channel), nn.Sigmoid() ) ``` #### 3. 引入多尺度感知 为了捕捉不同尺度下的重要特征，可以在计算过程中融合多个尺度的信息。具体实现可以通过并行处理不同大小的感受野，并最终汇总结果。 ```python class MultiScaleChannelAttention(nn.Module): def __init__(self, channel, reduction=16): super(MultiScaleChannelAttention, self).__init__() scales = [nn.MaxPool2d(kernel_size=k, stride=1, padding=(k-1)//2) for k in (3,5,7)] self.scale_layers = nn.ModuleList(scales) ... def forward(self, x): scale_features = [] for layer in self.scale_layers: feature = layer(x) pooled_feature = self.max_pool(feature).view(feature.size(0), -1) fc_output = self.fc(pooled_feature) scale_features.append(fc_output.view(*feature.shape[:2], *([1]*len(feature.shape[2:])))) final_attention_map = sum(scale_features)/len(scale_features) return final_attention_map.expand_as(x) ``` 这些改进建议旨在进一步优化CBAM的性能，使其能够在特定应用场景下表现得更好[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小怪兽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值