YOLO11改进|注意力机制篇|引入矩形自校准模块RCM

于 2024-10-08 08:56:02 发布
阅读量627 收藏 6
点赞数 11
分类专栏： YOLO11改进专栏 文章标签： YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A1983Z/article/details/142740949
版权

在这里插入图片描述

目录

一、【RCM】注意力机制

1.1【RCM】注意力介绍

在这里插入图片描述

下图是【RCM】的结构图，让我们简单分析一下运行过程和优势

  • RCA 模块（Residual Cross-Attention）:
    目的: RCA 模块实现了一种空间注意力机制，能够捕获特征图中高度和宽度两个维度的信息交互。这可以增强网络对空间区域的关注，提升它对局部上下文的理解。
    处理步骤:
  • 空间卷积: 模块首先使用深度可分离卷积（dwconv_hw）在输入张量的高度和宽度上进行处理，这有助于捕捉局部的空间信息。
  • 自适应池化: 模块分别对高度（pool_h）和宽度（pool_w）方向进行全局平均池化，以获得每个通道的高度和宽度的信息聚合结果。高度池化会生成形状为 [N, C, H, 1] 的张量，而宽度池化会生成形状为 [N, C, 1, W] 的张量。
  • Excite模块: 将高度和宽度的信息相加（x_gather = x_h + x_w），然后通过一系列卷积、归一化和激活操作（ReLU + Sigmoid）生成注意力权重。这个注意力机制学习到了高度和宽度的相关性，并将其用于调整输入特征。
  • 残差连接: 最后，将经过注意力权重调整的特征与原始卷积结果进行逐元素乘法相结合，输出最终的增强特征。这种操作可以强化重要的空间区域。
    优势:RCA 模块引入了全局高度和宽度的池化操作，使得模型能够捕捉长距离依赖关系。使用深度可分离卷积减少了计算成本，同时保持了良好的特征提取能力。注意力机制可以动态地调整特征图中不同空间位置的权重，从而提高模型对重要局部信息的捕捉能力。
  • RCM 模块（Residual Cross Mixer）:
    目的: RCM 模块整合了多种模块化操作（包括RCA 和 MLP）用于特征的混合与增强，同时通过残差连接确保信息不会丢失。

处理步骤:

  • Token Mixer (RCA): RCM 模块首先调用 RCA 模块，使用其自带的注意力机制对输入特征图进行初步处理。这个步骤能够捕捉特征图的空间关系，并输出加权后的特征图。
  • 归一化: 对经过RCA处理后的输出应用批归一化层，稳定模型的训练并改善收敛性。
  • MLP层: 调用 ConvMlp 模块，将输入的特征图通过两个1x1卷积进行通道间的线性变换，进一步提取特征。这相当于一个在卷积上下文中使用的多层感知机。
  • Layer Scale (Gamma): RCM 模块使用一个可学习的参数 gamma，其初始值非常小（1e-6），在更新过程中逐步优化。这种机制允许模型在残差连接上进行适度的权重调节，使得模型能够更加灵活地融合新旧信息。
  • 残差连接: 将经过 DropPath 操作后的输出与初始输入进行相加，实现残差连接。这确保了信息流不会因过多的非线性变换而丢失，增强了模型的训练效果。
    优势:RCM 模块通过结合 RCA 和 MLP 操作，既能捕捉全局的空间关系，又能实现通道间的特征交互。Layer Scale 使得模型可以平衡新旧特征之间的融合，增加了模型的鲁棒性。DropPath 操作引入了随机深度的正则化，帮助模型在训练时进行更好的泛化。
    在这里插入图片描述

1.2【RCM】核心代码

from functools import partial

import torch
import torch.nn as nn

from timm.models.layers import DropPath
from timm.models.layers.helpers import to_2tuple


class ConvMlp(nn.Module):
    """ MLP using 1x1 convs that keeps spatial dims
    copied from timm: https://github.com/huggingface/pytorch-image-models/blob/v0.6.11/timm/models/layers/mlp.py
    """

    def __init__(
            self, in_features, hidden_features=None, out_features=None, act_layer=nn.ReLU,
            norm_layer=None, bias=True, drop=0.):
        super().__init__()
        out_features = out_features or in_features
        hidden_features = hidden_features or in_features
        bias = to_2tuple(bias)

        self.fc1 = nn.Conv2d(in_features, hidden_features, kernel_size=1, bias=bias[0])
        self.norm = norm_layer(hidden_features) if norm_layer else nn.Identity()
        self.act = act_layer()
        self.drop = nn.Dropout(drop)
        self.fc2 = nn.Conv2d(hidden_features, out_features, kernel_size=1, bias=bias[1])

    def forward(self, x):
        x = self.fc1(x)
        x = self.norm(x)
        x = self.act(x)
        x = self.drop(x)
        x = self.fc2(x)
        return x


class RCA(nn.Module):
    def __init__(self, inp, kernel_size=1, ratio=1, band_kernel_size=11, dw_size=(1, 1), padding=(0, 0), stride=1,
                 square_kernel_size=2, relu=True):
        super(RCA, self).__init__()
        self.dwconv_hw = nn.Conv2d(inp, inp, square_kernel_size, padding=square_kernel_size // 2, groups=inp)
        self.pool_h = nn.AdaptiveAvgPool2d((None, 1))
        self.pool_w = nn.AdaptiveAvgPool2d((1, None))

        gc = inp // ratio
        self.excite = nn.Sequential(
            nn.Conv2d(inp, gc, kernel_size=(1, band_kernel_size), padding=(0, band_kernel_size // 2), groups=gc),
            nn.BatchNorm2d(gc),
            nn.ReLU(inplace=True),
            nn.Conv2d(gc, inp, kernel_size=(band_kernel_size, 1), padding=(band_kernel_size // 2, 0), groups=gc),
            nn.Sigmoid()
        )

    def sge(self, x):
        # [N, D, C, 1]
        x_h = self.pool_h(x)
        x_w = self.pool_w(x)
        x_gather = x_h + x_w  # .repeat(1,1,1,x_w.shape[-1])
        ge = self.excite(x_gather)  # [N, 1, C, 1]

        return ge

    def forward(self, x):
        loc = self.dwconv_hw(x)
        att = self.sge(x)
        out = att * loc
        return out


class RCM(nn.Module):
    """ MetaNeXtBlock Block
    Args:
        dim (int): Number of input channels.
        drop_path (float): Stochastic depth rate. Default: 0.0
        ls_init_value (float): Init value for Layer Scale. Default: 1e-6.
    """

    def __init__(
            self,
            dim,
            token_mixer=RCA,
            norm_layer=nn.BatchNorm2d,
            mlp_layer=ConvMlp,
            mlp_ratio=2,
            act_layer=nn.GELU,
            ls_init_value=1e-6,
            drop_path=0.,
            dw_size=11,
            square_kernel_size=3,
            ratio=1,
    ):
        super().__init__()
        self.token_mixer = token_mixer(dim, band_kernel_size=dw_size, square_kernel_size=square_kernel_size,
                                       ratio=ratio)
        self.norm = norm_layer(dim)
        self.mlp = mlp_layer(dim, int(mlp_ratio * dim), act_layer=act_layer)
        self.gamma = nn.Parameter(ls_init_value * torch.ones(dim)) if ls_init_value else None
        self.drop_path = DropPath(drop_path) if drop_path > 0. else nn.Identity()

    def forward(self, x):
        shortcut = x
        x = self.token_mixer(x)
        x = self.norm(x)
        x = self.mlp(x)
        if self.gamma is not None:
            x = x.mul(self.gamma.reshape(1, -1, 1, 1))
        x = self.drop_path(x) + shortcut
        return x


if __name__ == "__main__":
    # 创建随机输入张量 (batch_size, channels, height, width)
    x = torch.randn(8, 64, 32, 32)  # 假设输入是8个样本，64个通道，32x32大小

    # 实例化 ConvMlp 模块
    conv_mlp = ConvMlp(in_features=64, hidden_features=128, out_features=64, act_layer=nn.ReLU)

    # 实例化 RCA 模块
    rca = RCA(inp=64, kernel_size=1, ratio=1, band_kernel_size=11, square_kernel_size=3)

    # 实例化 RCM 模块
    rcm = RCM(dim=64, dw_size=11, square_kernel_size=3, ratio=1, drop_path=0.1)

    # 测试 ConvMlp 模块
    print("Testing ConvMlp module:")
    output_mlp = conv_mlp(x)
    print(f"Output shape of ConvMlp: {output_mlp.shape}")

    # 测试 RCA 模块
    print("\nTesting RCA module:")
    output_rca = rca(x)
    print(f"Output shape of RCA: {output_rca.shape}")

    # 测试 RCM 模块
    print("\nTesting RCM module:")
    output_rcm = rcm(x)
    print(f"Output shape of RCM: {output_rcm.shape}")

二、添加【RCM】注意力机制

2.1STEP1

首先找到ultralytics/nn文件路径下新建一个Add-module的python文件包【这里注意一定是python文件包，新建后会自动生成_init_.py】，如果已经跟着我的教程建立过一次了可以省略此步骤，随后新建一个RCM.py文件并将上文中提到的注意力机制的代码全部粘贴到此文件中，如下图所示在这里插入图片描述

2.2STEP2

在STEP1中新建的_init_.py文件中导入增加改进模块的代码包如下图所示在这里插入图片描述

2.3STEP3

找到ultralytics/nn文件夹中的task.py文件，在其中按照下图添加在这里插入图片描述

2.4STEP4

定位到ultralytics/nn文件夹中的task.py文件中的def parse_model(d, ch, verbose=True): # model_dict, input_channels(3)函数添加如图代码,【如果不好定位可以直接ctrl+f搜索定位】

在这里插入图片描述

三、yaml文件与运行

3.1yaml文件

以下是添加【RCM】注意力机制在小目标检测层后的yaml文件，大家可以注释自行调节，效果以自己的数据集结果为准

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPs
  s: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPs
  m: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPs
  l: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPs
  x: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs

# YOLO11n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  - [-1, 2, C3k2, [256, False, 0.25]]
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  - [-1, 2, C3k2, [512, False, 0.25]]
  - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
  - [-1, 2, C3k2, [512, True]]
  - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
  - [-1, 2, C3k2, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]] # 9
  - [-1, 2, C2PSA, [1024]] # 10

# YOLO11n head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 2, C3k2, [512, False]] # 13

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 4], 1, Concat, [1]] # cat backbone P3
  - [-1, 2, C3k2, [256, False]] # 16 (P3/8-small)
  - [-1, 1, RCM,  []]

  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 13], 1, Concat, [1]] # cat head P4
  - [-1, 2, C3k2, [512, False]] # 19 (P4/16-medium)

  - [-1, 1, Conv, [512, 3, 2]]
  - [[-1, 10], 1, Concat, [1]] # cat head P5
  - [-1, 2, C3k2, [1024, True]] # 22 (P5/32-large)

  - [[17, 20, 23], 1, Detect, [nc]] # Detect(P3, P4, P5)

以上添加位置仅供参考，具体添加位置以及模块效果以自己的数据集结果为准

3.2运行成功截图

在这里插入图片描述

OK 以上就是添加【RCM】注意力机制的全部过程了，后续将持续更新尽情期待

在这里插入图片描述

如果能为勤奋颁奖
关注
专栏目录
YOLOv10改进 | 注意力篇 | YOLOv10改进CBAM注意力机制
tsg6698的博客
06-11 3415
模块首先应用通道注意力，关注"重要的"特征，然后应用空间注意力，关注这些特征的"重要位置"。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~新建一个yolov10nCBAM.yaml文件后，在Backbone部分添加了CBAM注意力机制，大家可以在其他地方多尝试。在CBAM.py文件里添加给出的CBAM代码。模型结构打印，成功运行。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 9万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv5改进 | 注意力机制 | 用于移动端的高效坐标CA注意力机制
kay_545
05-11 1839
YOLOv5添加注意力机制，YOLOv5改进，YOLOv5创新
YOLOv8改进 | 注意力机制 | 添加FocusedLinearAttention助力YOLOv8实现有效涨点
Snu77的博客
11-25 5338
本文给大家带来的改进机制是（聚焦线性注意力）是一种用于视觉Transformer模型的注意力机制(但是其也可以用在我们的YOLO系列当中从而提高检测精度)，旨在提高效率和表现力。其解决了两个在传统线性注意力方法中存在的问题：聚焦能力和特征多样性。这种方法通过一个高效的映射函数和秩恢复模块来提高计算效率和性能，使其在处理视觉任务时更加高效和有效。简言之，Focused Linear Attention是对传统线性注意力方法的一种重要改进，提高了模型的聚焦能力和特征表达的多样性。
YOLOv8改进 | 注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
Snu77的博客
03-22 1万+
官方论文地址：官方论文地址点击此处即可跳转官方代码地址：官方代码地址点击此处即可跳转GAM旨在通过设计一种机制，减少信息损失并放大全局维度互动特征，从而解决传统注意力机制在通道和空间两个维度上保留信息不足的问题。GAM采用了顺序的通道-空间注意力机制，并对子模块进行了重新设计。具体来说，通道注意力子模块使用3D排列来跨三个维度保留信息，并通过一个两层的MLP增强跨维度的通道-空间依赖性。
YOLOv8改进 | 注意力机制 | 添加EMAttention注意力机制（附多个可添加位置）
Snu77的博客
12-31 8230
本文给大家带来的改进机制是EMAttention注意力机制，它的核心思想是，重塑部分通道到批次维度，并将通道维度分组为多个子特征，以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重，并通过跨维度交互来捕获像素级别的关系。本文首先给大家提供效果图(由基础版本未作任何修改和修改了本文的改进机制的效果对比图)，然后介绍其主要的原理，最后手把手教大家如何添加该注意力机制。
YOLOv8改进 | 注意力机制 | 添加YOLO-Face提出的SEAM注意力机制优化物体遮挡检测（附代码 + 修改教程）
Snu77的博客
03-11 6522
本文重点YOLOFaceV2介绍遮挡改进注意力网络模块（SEAM）和排斥损失（Repulsion Loss）。注意力网络模块旨在补偿被遮挡面部的响应损失，通过增强未遮挡面部的响应来实现这一目标。SEAM模块通过深度可分离卷积和残差连接的组合来实现，其中深度可分离卷积按通道进行操作，虽然可以学习不同通道的重要性并减少参数量，但忽略了通道间的信息关系。为了弥补这一损失，不同深度卷积的输出通过点对点（1x1）卷积组合。然后使用两层全连接网络融合每个通道的信息，以增强所有通道之间的联系。
YOLOv5改进 | 注意力机制 | 添加高效的通道注意力机制——ECA
kay_545
05-13 1573
yolov5改进，yolov5创新，注意力机制
YOLOv5改进 | 注意力机制 | 通道和空间的双重作用的CBAM注意力机制
kay_545
05-12 1904
CBAM（Convolutional Block Attention Module）是一种用于增强卷积神经网络（CNN）性能的注意力机制。它由两个子模块组成：通道注意力模块和空间注意力模块。通道注意力模块通过全局平均池化和全连接层学习通道间的关系，并利用学到的权重对每个通道的特征图进行加权，以增强有用的特征并抑制无用的特征。空间注意力模块则通过对特征图在空间维度上进行最大池化和平均池化操作，结合两种池化结果通过全连接层学习得到每个空间位置的权重，使得网络能够更好地关注图像中的重要区域。
YOLOv8改进 | 注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
11-18 7254
本文给大家带来的是YOLOv8改进DAT的教程，其发布于2022年CVPR2022上同时被评选为Best Paper，由此可以证明其是一种十分有效的改进机制，其主要的核心思想是：引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
YOLOv5改进 | 注意力篇 | 利用YOLO-Face提出的SEAM注意力机制优化物体遮挡检测（附代码 + 修改教程）
Snu77的博客
03-13 1901
本文给大家带来的改进机制是由YOLO-Face提出能够改善物体遮挡检测的注意力机制SEAM，注意力网络模块旨在补偿被遮挡面部的响应损失，通过增强未遮挡面部的响应来实现这一目标，其希望通过学习遮挡面和未遮挡面之间的关系来改善遮挡情况下的损失从而达到改善物体遮挡检测的效果，本文将通过介绍其主要原理后，提供该机制的代码和修改教程，并附上运行的yaml文件和运行代码，小白也可轻松上手。。欢迎大家订阅我的专栏一起学习YOLO！YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新本文重点介绍遮挡改进。
YOLOv10改进 | 注意力篇 | YOLOv10改进CA注意力机制
tsg6698的博客
06-12 2360
摘要：最近关于移动网络设计的研究已经证明了通道注意力（例如，挤压和激励注意力）对于提升模型性能的显着有效性，但它们通常忽略了位置信息，而位置信息对于生成空间选择性注意力图很重要。在本文中，我们通过将位置信息嵌入到通道注意力中，提出了一种新颖的移动网络注意力机制，我们称之为“协调注意力”。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv10改进 | 注意力篇 | YOLOv10引入ECA注意力机制
tsg6698的博客
06-12 2450
为了克服性能和复杂性权衡的悖论，本文提出了一种高效通道注意（ECA）模块，该模块仅涉及少量参数，同时带来了明显的性能增益。在ResNets和MobileNetV2等主流神经网络结构中，ECA模块以极少的参数和计算资源，显著提升了模型的性能，相比其他注意力模块展现出更高的效率和优越性。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 519
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1350
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
夜间道路目标检测数据集 5000张 夜间道路 带标voc yolo
阿利同学的博客
10-03 285
夜间道路目标检测数据集 5000张 夜间道路 带标voc yolo
YOLOv5复现（论文复现）
最新发布
wei_shuo的博客
10-07 571
YOLOv5复现（论文复现）
Yolov8轻量级网络改进GhostNet
qq_53545309的博客
10-04 196
由于内存和计算资源有限，在移动设备上部署卷积神经网络 （CNN） 很困难。我们的目标是通过利用特征图中的冗余，为 CPU 和 GPU 等异构设备设计高效的神经网络，这在神经架构设计中很少被研究。对于类 CPU 设备，我们提出了一种新颖的 CPU 高效 Ghost （C-Ghost） 模块，以从廉价操作中生成更多特征图。基于一组内在特征图，我们以较低的成本应用了一系列线性变换来生成许多幽灵特征图，这些图可以完全反映内在特征背后的信息。所提出的 C-Ghost 模块可以作为升级现有卷积神经网络的即插即用组件。
【YOLO目标检测行人与车数据集】共5607张、已标注txt格式、有训练好的yolov5的模型
LINBONB的博客
10-02 529
标注数量(txt文件个数)：5607。标注类别名称：person、car。训练好的yolov5检测模型。数据集格式：YOLO格式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值