YOLOv5改进系列（1）——添加CBAM注意力机制

最新推荐文章于 2024-10-03 10:52:08 发布
最新推荐文章于 2024-10-03 10:52:08 发布
阅读量741 收藏 13
点赞数 18
文章标签： YOLO 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vimpirespider/article/details/142370523
版权

一、如何理解注意力机制

假设你正在阅读一本书，同时有人在你旁边说话。当你听到某些关键字时，比如“你的名字”或者“你感兴趣的话题”，你会自动把注意力从书上转移到他们的谈话上，尽管你并没有完全忽略书本的内容。这就是注意力机制的核心思想：动态地根据重要性来分配注意力，而不是对输入的信息一视同仁地处理。

在计算机视觉或自然语言处理（NLP）中，注意力机制让模型能够灵活地聚焦于输入数据的某些重要部分。例如，在图像分类任务中，模型不需要对整张图像的每一个像素都一视同仁，而是可以专注于那些关键区域，如目标物体的边缘或特征。在句子处理时，模型可以根据句子的上下文，专注于那些对语义理解最为关键的单词或短语，而忽略不太重要的部分。

注意力机制就像在复杂信息处理中自动筛选和重点关注的过程，帮助模型更智能地选择和处理最有用的信息。

作用

  1. 提升准确性：注意力机制聚焦关键信息，提升预测精度。
  2. 增强可解释性：能更清晰展示模型决策过程。
  3. 处理变长数据：适用于文本、语音等不定长序列数据。

不足

  1. 计算开销大：需要计算每个位置的权重，耗时长。
  2. 易过拟合：复杂权重可能导致模型在训练集上表现过好，泛化能力弱。
  3. 数据需求高：需要大量数据训练，否则效果不佳。

二、CBAM注意力机制

论文名称：《CBAM: Convolutional Block Attention Module》

论文地址：https://arxiv.org/pdf/1807.06521

论文代码：GitHub - Jongchan/attention-module: Official PyTorch code for "BAM: Bottleneck Attention Module (BMVC2018)" and "CBAM: Convolutional Block Attention Module (ECCV2018)"

CBAM从通道channel和空间spatial两个作用域出发，实现从通道到空间的顺序注意力结构。空间注意力可使神经网络更加关注在图像分类中决定性作用的像素区域而忽略无关紧要的区域，通道注意力则用于处理特征图通道的分配关系，同时对两个维度进行注意力分配加强了注意力机制对模型性能的提升效果。

2.1 CAM通道注意力模块

shared MLP

  1. 输入特征图（H×W×C）：

    • 先将输入的特征图（H×W×C）分别经过基于宽度和高度的最大池化和平均池化，对特征图按两个维度压缩，得到两个1×1×C的特征图。

  2. 池化后的特征图进行处理：

    • 将最大池化和平均池化的结果利用共享的全连接层（Shared MLP）进行处理：
      • 先通过一个全连接层下降通道数（C -> C/4）。
      • 然后再通过另一个全连接层恢复通道数（C/4 -> C）。

  3. 生成权重：

    • 将共享的全连接层所得到的结果相加后再使用Sigmoid激活函数，生成最终的channel attention feature，得到每个通道的权重值（0～1之间）。

  4. 特征调整：

    • 将权重通过逐通道相加到输入特征图上，生成最终调整后的特征图。

代码如下所示：

import torch
import torch.nn as nn

class ChannelAttentionModule(nn.Module):
    def __init__(self, in_channels, reduction=4):
        super(ChannelAttentionModule, self).__init__()
        # 使用最大池化和平均池化
        self.avg_pool = nn.AdaptiveAvgPool2d(1)  # 输出形状 1x1
        self.max_pool = nn.AdaptiveMaxPool2d(1)  # 输出形状 1x1
        
        # 全连接层用于减少通道数再增加回来
        self.fc1 = nn.Conv2d(in_channels, in_channels // reduction, 1, bias=False)  # 1x1卷积，降维
        self.relu = nn.ReLU()  # 激活函数ReLU
        self.fc2 = nn.Conv2d(in_channels // reduction, in_channels, 1, bias=False)  # 1x1卷积，升维
        
        # 使用 Sigmoid 激活函数
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        # 输入特征图的形状为 (B, C, H, W)
        avg_out = self.avg_pool(x)  # 平均池化
        max_out = self.max_pool(x)  # 最大池化
        
        # 使用共享的全连接层（MLP）进行处理
        avg_out = self.fc2(self.relu(self.fc1(avg_out)))
        max_out = self.fc2(self.relu(self.fc1(max_out)))
        
        # 将池化结果加起来
        out = avg_out + max_out
        
        # 使用Sigmoid激活
        out = self.sigmoid(out)
        
        # 通过逐通道相乘的方式调整输入特征图
        return x * out

# 测试模块
if __name__ == "__main__":
    # 输入张量 (batch_size, channels, height, width)
    input_tensor = torch.randn(1, 64, 32, 32)  # 示例输入 (B=1, C=64, H=32, W=32)
    
    # 实例化通道注意力模块
    cam = ChannelAttentionModule(in_channels=64)
    
    # 前向传播
    output = cam(input_tensor)
    
    print(output.shape)  # 输出特征图的形状

2.2 SAM空间注意力模块

具体流程如下：

将上面CAM模块输出的特征图F'作为本模块的输入特征图。

首先，对输入特征图在通道维度下做最大池化和平均池化，将池化后的两张特征图在通道维度堆叠（concat）。

然后，经过一个7×7卷积（7×7比3×3效果更好）操作，降维为1个channel，即叠积核融合通道信息，特征图的shape从b,2,h,w - >b,1,h,w。

最后，将卷积后的结果经过sigmoid函数对特征图的空间权重归一化，再将输入特征图和权重相乘。

class spatial_attention(nn.Module):
    def __init__(self, kernel_size=7):
        super(spatial_attention, self).__init__()

        # 为了保持卷积前后的特征图shape相同，卷积时需要padding
        padding = kernel_size // 2  # 确保7x7卷积后输出形状与输入一致

        # 7×7卷积融合通道信息，输入[b, 2, h, w]，输出[b, 1, h, w]
        self.conv = nn.Conv2d(in_channels=2, out_channels=1, kernel_size=kernel_size, padding=padding, bias=False)

        # sigmoid激活函数
        self.sigmoid = nn.Sigmoid()

    def forward(self, inputs):
        # 在通道维度上最大池化 [b, 1, h, w]，keepdim保留原有深度
        x_maxpool, _ = torch.max(inputs, dim=1, keepdim=True)

        # 在通道维度上平均池化 [b, 1, h, w]
        x_avgpool = torch.mean(inputs, dim=1, keepdim=True)

        # 池化后的结果在通道维度上堆叠 [b, 2, h, w]
        x = torch.cat([x_maxpool, x_avgpool], dim=1)

        # 卷积融合通道信息， [b, 2, h, w] ==> [b, 1, h, w]
        x = self.conv(x)

        # 空间权重归一化
        x = self.sigmoid(x)

        # 输入特征图和空间权重相乘
        outputs = inputs * x

        return outputs

  1. 输入特征图：假设输入一个中间特征图 F∈RC×H×W，其中 C、H、W 分别表示通道数、高度和宽度。

  2. 通道注意力模块：

    • 对输入特征图 F 进行全局最大池化（Max Pooling）和全局平均池化（Average Pooling）操作，生成两个不同的空间信息描述。即通过最大池化和平均池化将特征图 F 沿空间维度压缩为1维向量。
    • 将池化后的结果通过一个共享的多层感知机（MLP），以融合不同空间信息并输出通道维度的权重 Mc​(F)。
    • 最后通过公式 (3) 计算通道注意力：

  1. 空间注意力模块：
    • 将通道加权后的特征图 F′ 进一步经过空间注意力机制。首先，再次对特征图 F′ 进行全局最大池化和全局平均池化操作，但这次是在通道维度进行操作。
    • 将池化结果拼接后，经过一个卷积操作生成空间注意力图 Ms​(F′)，公式 (4) 表示为：

  • 最终将空间注意力图 Ms​(F′) 与特征图 F′ 按元素相乘，得到最终的输出特征图 F′′。
  1. CBAM模块的完整过程：
    • 通道注意力模块和空间注意力模块可以串联使用，先通过通道注意力调整特征，再通过空间注意力调整，完成特征图的两次加权。

三、CBAM注意力机制添加过程

1.在common.py中添加网络结构

将下面代码复制到common.py文件最下面

class ChannelAttentionModule(nn.Module):
    def __init__(self, in_channels, reduction=4):
        super(ChannelAttentionModule, self).__init__()
        # 使用最大池化和平均池化
        self.avg_pool = nn.AdaptiveAvgPool2d(1)  # 输出形状 1x1
        self.max_pool = nn.AdaptiveMaxPool2d(1)  # 输出形状 1x1

        # 全连接层用于减少通道数再增加回来
        self.fc1 = nn.Conv2d(in_channels, in_channels // reduction, 1, bias=False)  # 1x1卷积，降维
        self.relu = nn.ReLU()  # 激活函数ReLU
        self.fc2 = nn.Conv2d(in_channels // reduction, in_channels, 1, bias=False)  # 1x1卷积，升维

        # 使用 Sigmoid 激活函数
        self.sigmoid = nn.Sigmoid()
    def forward(self, x):
        b, c, h, w = x.size()  # 获取输入的形状 (batch_size, channels, height, width)

        # 最大池化和平均池化，输出维度 [b, c, 1, 1]
        max_pool = self.max_pool(x).view(b, c)  # 调整池化结果维度为 [b, c]
        avg_pool = self.avg_pool(x).view(b, c)  # 调整池化结果维度为 [b, c]

        # 第一个全连接层降通道数 [b, c] => [b, c/4]
        x_maxpool = self.fc1(max_pool)
        x_avgpool = self.fc1(avg_pool)

        # 激活函数
        x_maxpool = self.relu(x_maxpool)
        x_avgpool = self.relu(x_avgpool)

        # 第二个全连接层恢复通道数 [b, c/4] => [b, c]
        x_maxpool = self.fc2(x_maxpool)
        x_avgpool = self.fc2(x_avgpool)

        # 将最大池化和平均池化的结果相加 [b, c]
        x = x_maxpool + x_avgpool

        # Sigmoid函数权重归一化
        x = self.sigmoid(x)

        # 调整维度 [b, c] => [b, c, 1, 1]
        x = x.view(b, c, 1, 1)

        # 输入特征图和通道权重相乘 [b, c, h, w]
        outputs = x * x

        return outputs
    # def forward(self, x):
    #     # 输入特征图的形状为 (B, C, H, W)
    #     b,c,h,w = x.shape
    #     max_out = self.max_pool(x)  # 最大池化
    #     avg_out = self.avg_pool(x)  # 平均池化
    #
    #     # 使用共享的全连接层（MLP）进行处理
    #     avg_out = self.fc2(self.relu(self.fc1(avg_out)))
    #     max_out = self.fc2(self.relu(self.fc1(max_out)))
    #
    #     # 将池化结果加起来
    #     out = avg_out + max_out
    #
    #     # 使用Sigmoid激活
    #     out = self.sigmoid(out)
    #
    #     # 通过逐通道相乘的方式调整输入特征图
    #     return x * out


class spatial_attention(nn.Module):
    def __init__(self, kernel_size=7):
        super(spatial_attention, self).__init__()

        # 为了保持卷积前后的特征图shape相同，卷积时需要padding
        padding = kernel_size // 2  # 确保7x7卷积后输出形状与输入一致

        # 7×7卷积融合通道信息，输入[b, 2, h, w]，输出[b, 1, h, w]
        self.conv = nn.Conv2d(in_channels=2, out_channels=1, kernel_size=kernel_size, padding=padding, bias=False)

        # sigmoid激活函数
        self.sigmoid = nn.Sigmoid()

    def forward(self, inputs):
        # 在通道维度上最大池化 [b, 1, h, w]，keepdim保留原有深度
        x_maxpool, _ = torch.max(inputs, dim=1, keepdim=True)

        # 在通道维度上平均池化 [b, 1, h, w]
        x_avgpool = torch.mean(inputs, dim=1, keepdim=True)

        # 池化后的结果在通道维度上堆叠 [b, 2, h, w]
        x = torch.cat([x_maxpool, x_avgpool], dim=1)

        # 卷积融合通道信息， [b, 2, h, w] ==> [b, 1, h, w]
        x = self.conv(x)

        # 空间权重归一化
        x = self.sigmoid(x)

        # 输入特征图和空间权重相乘
        outputs = inputs * x

        return outputs


class CBAM(nn.Module):
    def __init__(self, c1, c2, ratio=16, kernel_size=7):  # ch_in
        super(CBAM, self).__init__()
        self.channel_attention = ChannelAttentionModule(c1, ratio)
        self.spatial_attention = spatial_attention(kernel_size)

    def forward(self, x):
        out = self.channel_attention(x) * x  # 通道注意力加权
        # c*h*w (通道数、高度、宽度)
        out = self.spatial_attention(out) * out  # 空间注意力加权
        # c*h*w * 1*h*w（空间维度权重）
        return out

2.在yolo.py中添加CBAM结构

在下面找到 def parse_model(d, ch): 函数，往下找到if m in 这一行 添加CBAM

3.在yolov5s_CBAM.yaml中添加CBAM结构

在 yolov5s_CBAM.yaml 文件中添加 CBAM 模块。具体来说，有两种常见的添加方式：

  1. 在主干（backbone）的 SPPF（Spatial Pyramid Pooling-Fast）层之前添加一层 CBAM 模块。
  2. 将 Backbone 中所有的 C3 层全部替换为 CBAM 模块。

4.在yolo.py中修改yolov5s.yaml为yolov5s_CBAM.yaml

5.添加成功结果展示

6.修改train下的parse_opt开始训练

ustcthebest
关注
YOLOv5改进系列（2）——添加CBAM注意力机制
路人贾的博客
05-09 8896
手把手教你在YOLOv5中加入添加CBAM注意力机制，含两种方法。小白也能看得懂！
YOLOv5改进系列（7）——添加SimAM注意力机制
路人贾的博客
06-04 4566
手把手教你在YOLOv5中加入SimAM注意力机制，文内含两种方法，小白也能看懂！
yolov5添加注意力机制（CBAM）
kay_545
10-03 8290
引入CBAM后，YOLOv5在基础骨干网的每个残差单元的最后添加了CBAM模块，并在中间层的SPP（Spatial Pyramid Pooling）层后也添加了CBAM模块。总之，通过引入CBAM注意力机制，YOLOv5改进了网络的基础骨干网、中间层和检测头，使得模型能够更好地捕捉特征之间的依赖关系，提高特征表示能力和检测精度。通过结合通道注意力和空间注意力，CBAM注意力机制能够自适应地调整不同通道和空间位置的重要性，从而提升模型对图像特征的表达能力。，将CBAM添加到我们想添加的位置。
YOLOv5改进系列（1）——添加SE注意力机制
路人贾的博客
05-08 1万+
手把手带你添加SE注意力机制
YOLOv5改进系列（3）——添加CA注意力机制
路人贾的博客
05-11 7394
手把手带你学会YOLOv5中加入CA注意力机制！小白也能看懂！
note1：yolov8导入新模块——添加注意力机制CBAM
weixin_71784117的博客
06-19 964
很多yolo党刚刚入门时要学习的则是学习即插即用的注意力机制，本文章以yolov8添加CBAM注意力机制为例。如果出现显示未定义等报错，大家一定要看看自己注册那几个步骤有没有遗漏。祝各位视觉小伙伴们研学之路顺顺利利。
YOLOv5改进系列（4）——添加ECA注意力机制
路人贾的博客
05-12 5884
手把手教你在YOLOv5中加入ECA注意力机制，文内含两种方法，小白也能看懂！
YOLOv5改进系列（16）——添加EMA注意力机制（ICASSP2023|实测涨点）
路人贾的博客
07-28 6221
ICASSP2023，yolov5添加EMA基于跨空间学习的高效多尺度注意力，超越CA，实测涨点！
目标检测算法——YOLOv5/YOLOv7改进之结合CBAM注意力机制
热门推荐
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
04-09 1万+
将CBAM注意力模块嵌入到YOLOv5网络中，解决原始网络无注意力偏好的问题。
【YOLO目标检测二维码数据集】共3112张、已标注txt格式、有训练好的yolov5的模型
LINBONB的博客
09-29 364
标注数量(txt文件个数)：3112。训练好的yolov5检测模型。标注类别名称：qrcode。数据集格式：YOLO格式。
[C#]C# winform部署yolov11目标检测的onnx模型
FL1623863129的博客
10-03 981
最后运行项目选择x64 Debug即可，由于初次运行可能报错，如果报错请查看https://blog.csdn.net/FL1623863129/article/details/135424751。（2）下载模型：https://github.com/ultralytics/assets/releases/download/v8.3.0/yolo11n.pt。（4）然后将yolo11.onnx模型放进FIRC\bin\x64\Debug\weights。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1237
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
夜间道路目标检测数据集 5000张 夜间道路 带标voc yolo
阿利同学的博客
10-03 238
夜间道路目标检测数据集 5000张 夜间道路 带标voc yolo
yolo自动化项目实例解析（七）自建UI--工具栏选项
默子昂
09-29 1237
vi state.py 2、保存窗口配置 3、获取工作栏动作 5、保存 setting.ini datas/Task/细节参数.ini 3、添加菜单 4、添加函数 5、读取任务包目录下的子目录配置文件 6、添加任务包配置 datas/Task/Py任务模板/jiaoben.ini datas/Task/Py任务模板/参数.ini 8、按键函数
【YOLO目标检测行人与车数据集】共5607张、已标注txt格式、有训练好的yolov5的模型
LINBONB的博客
10-02 517
标注数量(txt文件个数)：5607。标注类别名称：person、car。训练好的yolov5检测模型。数据集格式：YOLO格式。
【YOLO目标检测吸烟检测数据集】共6097张、已标注txt格式、有训练好的yolov5的模型
最新发布
LINBONB的博客
10-03 420
标注数量(txt文件个数)：6097。训练好的yolov5检测模型。数据集格式：YOLO格式。标注类别名称：smoke。
YOLOv8最新改进2023 CVPR 结合BiFormer
qq_53545309的博客
09-28 424
作为视觉转换器的核心构建块，衰减是捕获长距离依赖性的强大工具。然而，这种能力是有代价的：它会产生巨大的计算负担和沉重的内存占用，因为所有空间位置的成对标记交互都是计算的。一系列作品试图通过将手工制作和与内容无关的稀疏性引入 attention 来缓解这个问题，例如将 attention 操作限制在局部窗口、轴向条纹或扩张的窗口内。与这些方法相反，我们提出了一种通过双层路由的新型 dy namic 稀疏注意力，以实现具有内容感知的更灵活的计算分配。
yolov8实例分割重要图片
海涛高软
09-30 358
FR：徐海涛(hunkxu)
改进yolov5系列：添加cbam注意力
06-10
对于 YOLOv5 系列，添加 CBAM 注意力可以提高模型的性能和精度。CBAM（Channel Attention Module and Spatial Attention Module）是一种注意力机制，它可以在通道和空间维度上对特征图进行加权，从而更好地捕捉图像中的关键信息。 在 YOLOv5 中，可以在骨干网络或检测头部分添加 CBAM 注意力模块。具体实现方法是，对于每个特征图，在通道维度上计算均值和方差，然后使用全连接层和激活函数进行加权，得到通道注意力权重。对于空间注意力权重，可以使用 1x1 卷积层来计算。最后，将通道和空间注意力权重相乘，得到最终的权重矩阵，用于特征图的加权。 通过添加 CBAM 注意力模块，YOLOv5 可以更好地捕捉图像中的关键信息，提高模型的性能和精度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值