YOLOv5改进网络：CBAM+小目标检测头

已于 2024-04-08 16:18:22 修改
阅读量893 收藏 23
点赞数 1
分类专栏： 目标检测 文章标签： 深度学习 目标检测 人工智能 YOLO
于 2023-05-29 18:00:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51431157/article/details/130931313
版权
文章探讨了在YOLOv5对象检测模型中引入CBAM模块和小目标检测头对模型性能的影响。实验结果显示，添加CBAM模块提升了精确度和召回率，但MAP值下降。通过在backbone中插入C3CBAM和增加特定的小目标检测头，针对TinyPerson数据集的训练显示了显著的提升效果。代码示例展示了如何在模型中实现这些改动，并提供了配置文件用于训练不同版本的模型。
摘要由CSDN通过智能技术生成

 

 

 

实验结果表明：添加CBAM模块后精确度P和召回率R略有提升，但map值却有所降低。 

 红色框是新增小目标检测头的结构，融合了高层的语义信息，同时又有低层的位置信息。

三个模型：yolov5s    添加注意力机制的yolov5s_CBAM       添加检测头的yolov5s_add 

将三个模型通过对TinyPerson数据集训练，添加检测头的模型提升效果显著，添加注意力机制的模型略有提升。

代码示例：

1、在common.py中写入CBAM相关函数（下面代码），外部调用时调用C3CBAM类

# CBAM
class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=16):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)
        self.f1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
        self.relu = nn.ReLU()
        self.f2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)
        self.sigmoid = nn.Sigmoid()
    def forward(self, x):
        avg_out = self.f2(self.relu(self.f1(self.avg_pool(x))))
        max_out = self.f2(self.relu(self.f1(self.max_pool(x))))
        out = self.sigmoid(avg_out + max_out)
        return out
class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()
        assert kernel_size in (3, 7), 'kernel size must be 3 or 7'
        padding = 3 if kernel_size == 7 else 1
        # (特征图的大小-算子的size+2*padding)/步长+1
        self.conv = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)
        self.sigmoid = nn.Sigmoid()
    def forward(self, x):
        # 1*h*w
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        x = torch.cat([avg_out, max_out], dim=1)
        #2*h*w
        x = self.conv(x)
        #1*h*w
        return self.sigmoid(x)
class CBAM(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, ratio=16, kernel_size=7):  # ch_in, ch_out, number, shortcut, groups, expansion
        super(CBAM, self).__init__()
        self.channel_attention = ChannelAttention(c1, ratio)
        self.spatial_attention = SpatialAttention(kernel_size)
    def forward(self, x):
        out = self.channel_attention(x) * x
        # c*h*w
        # c*h*w * 1*h*w
        out = self.spatial_attention(out) * out
        return out

class CBAMBottleneck(nn.Module):
    # Standard bottleneck
    def __init__(self, c1, c2, shortcut=True, g=1, e=0.5,ratio=16,kernel_size=7):  # ch_in, ch_out, shortcut, groups, expansion
        super(CBAMBottleneck,self).__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c_, c2, 3, 1, g=g)
        self.add = shortcut and c1 == c2
        self.channel_attention = ChannelAttention(c2, ratio)
        self.spatial_attention = SpatialAttention(kernel_size)
        #self.cbam=CBAM(c1,c2,ratio,kernel_size)
    def forward(self, x):
        x1=self.cv2(self.cv1(x))
        out = self.channel_attention(x1) * x1
        # print('outchannels:{}'.format(out.shape))
        out = self.spatial_attention(out) * out
        return x + out if self.add else out



class C3CBAM(C3):
    # C3 module with CBAMBottleneck()
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):
        super().__init__(c1, c2, n, shortcut, g, e)
        c_ = int(c2 * e)  # hidden channels
        self.m = nn.Sequential(*(CBAMBottleneck(c_, c_,shortcut) for _ in range(n)))

2、yolo.py文件增加判断条件：

3-1、新建配置文件yolov5m_C3CBAM.yaml（主干网络backbone中插入C3CBAM），原文件为yolov5m.yaml     

注释：nc为目标类别数量，我的任务目标有两个类，所以应该为2。下图的80是原代码的类别数量

3-2、新建配置文件yolov5m_addlayer.yaml（主干网络backbone不变，head部分增加小目标检测头，增加小目标预设锚框anchors），原文件为yolov5m.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 2  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [4,5, 8,10, 22,18] # P2/4  增加P2特征层
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3

   # add feature extration layer  ########
   [-1, 3, C3, [256, False]],  # 17
   [-1, 1, Conv, [128, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 2], 1, Concat, [1]],  # cat backbone P3

   # add detect layer
   [-1, 3, C3, [128, False]],  # 21 (P4/4-minium)

   [-1, 1, Conv, [128, 3, 2]],
   [[-1, 18], 1, Concat, [1]],  # cat head P3
   # end

   [-1, 3, C3, [256, False]],  # 24 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 27 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 30 (P5/32-large)

   [[21, 24, 27, 30], 1, Detect, [nc, anchors]],  # Detect(P2, P3, P4, P5)  输出的层，按上面的层数从上往下数（一共31层（不含输入层和输出））
  ]

3-3、新建配置文件yolov5m_addlayer_C3CBAM.yaml（主干网络backbone中插入C3CBAM，head部分增加小目标检测头，增加小目标预设锚框anchors），原文件为yolov5m.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 2  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [4,5, 8,10, 22,18] # P2/4  增加P2特征层
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3CBAM, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3CBAM, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3CBAM, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3CBAM, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3

   # add feature extration layer  ########
   [-1, 3, C3, [256, False]],  # 17
   [-1, 1, Conv, [128, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 2], 1, Concat, [1]],  # cat backbone P3

   # add detect layer
   [-1, 3, C3, [128, False]],  # 21 (P4/4-minium)

   [-1, 1, Conv, [128, 3, 2]],
   [[-1, 18], 1, Concat, [1]],  # cat head P3
   # end

   [-1, 3, C3, [256, False]],  # 24 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 27 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 30 (P5/32-large)

   [[21, 24, 27, 30], 1, Detect, [nc, anchors]],  # Detect(P2, P3, P4, P5)  输出的层，按上面的层数从上往下数（一共31层（不含输入层和输出））
  ]

4、训练：按照官网给的命令进行训练即可，注意指定配置文件。

上述三个配置文件对于三个不同实验：

        1、yolov5m_C3CBAM.yaml。增加空间与通道注意力改进yolov5

        2、yolov5m_addlayer.yaml。针对密集或小目标检测，增加小目标检测头的改进。

        3、yolov5m_addlayer_C3CBAM.yaml。结合两者的改进。CBAM是即插即用的二维卷积模块，其放置位置可以改变，不仅在backbone中可以使用，在head层的特征金字塔内亦可使用。

5、三种改进网络训练后的结果对比：

使用生成的result.csv文件进行对比

具体可见：YOLO训练results.csv文件可视化（原模型与改进模型对比可视化）_yolo csv文件怎么用-CSDN博客

weixin_51431157
关注
专栏目录
YOLOv5算法改进（16）— 增加小目标检测层 | 四头检测机制（包括代码+添加步骤+网络结构图）
突然好想你
10-21 2886
作者通过网络结构图的形式循序渐进的为您讲解如何在YOLOv5中增加小目标检测层，相信看完本篇文章，您一定会有所收获！
【目标检测】yolov7改进系列：主干网络中添加CBAM注意力机制网络
学无止境、积少成多、厚积薄发
11-02 4526
yolov7改进系列：主干网络中添加CBAM注意力机制网络
深度学习—yolov5改进小目标检测
Cossack_boy的博客
02-17 2958
yolov5改进—小目标检测头+CBAM+BiFPN
YOLOv5改进--添加CBAM注意力机制
weixin_57130167的博客
11-21 6820
YOLOV5改进方式，添加注意力机制，有很多添加方式，文中列举一种。
YOLOv10改进：CBAM注意力机制【注意力系列篇】（附详细的修改步骤，以及代码，在目标检测中有效涨点）
最新发布
2401_85556416的博客
08-28 1532
这篇文章中提出的CBMA模块如图所示，CBAM（Convolutional Block Attention Module）是一种结合了通道注意力和空间注意力的注意力模块，旨在全面提升卷积神经网络的性能。给定一个中间特征图，我们的模块沿着两个独立的维度，通道和空间，顺序地推断注意力图，然后将这些注意力图与输入特征图相乘，进行自适应特征细化。多层次的特征关注：通过结合通道注意力和空间注意力，CBAM可以同时关注特征图中的重要通道和重要的空间位置，从而提高特征表示的准确性。这些空间特征捕捉了不同位置的信息。
yoloV5 增加小目标检测层
m0_64298393的博客
05-29 9433
原始网络有三个检测头： 分别是 80x80 （小目标） 40x40（中目标） 160x160(小目标)，现在要增加小目标检测层，就可以在80 x 80 的上一步，也就是 160 x 160 尺寸增加为了检测160 x 160的检测头，因此需将backbon中160 与NECK中的 160 相加（残差网络），但原始网络中 NECK没有60 x 160的特征图，但可以对 80x80的特征图再进行一次上采样，得到160x160的特征图，并于backbon中60x160的特征图连接即可得到下图的网络图。
YOLOV5中添加CBAM模块详解——原理+代码
python_plus的博客
03-07 4164
本文详细讲解了CBAM模块中的CAM和SAM过程，并提供了将CBAM添加到YOLOv5中的代码
【目标检测】|CBAM
qq_35608277的博客
06-15 969
本文提出了卷积块的注意力模块（Convolutional Block Attention Module），简称CBAM，该模块是一个简单高效的前向卷积神经网络注意力模块。给定一张特征图，CBAM沿着通道（channel）和空间（spatial）两个单独的维度依次推断注意力图，然后将注意力图和输入特征图相乘，进行自适应特征细化。因为CBAM是一个轻量级的通用模块，可以无缝的集成到任何CNN架构中，几乎对效率，算力没有影响，能够实现端到端的训练。 特征图 2D spatial attention map Ms
基于改进YOLOv5的小目标检测 | 添加CBAM注意机制 + 更换Neck网络之BiFPN + 增加高分辨率检测头
突然好想你
06-10 1915
本文针对图像中小目标难以检测的问题，提出了一种基于YOLOv5的改进模型。在主干网络中，加入CBAM注意力模块增强网络特征提取能力；在颈部网络部分，使用BiFPN结构替换PANet结构，强化底层特征利用；在检测头部分，增加高分辨率检测头，改善对于微小目标的检测能力。本文算法在无人机数据集VisDrone2019数据集上进行了多次对比实验，结果表明本文算法可以有效地检测小目标。🌈
YOLOv8改进，YOLOv8添加CBAM注意力机制
weixin_44779079的博客
06-26 1415
CBAM是一个简单而有效的注意力模块，用于前馈卷积神经网络。给定一个中间特征图，我们的模块按顺序推断两个独立维度（通道和空间）的注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。由于 CBAM 是一个轻量级的通用模块，因此它可以无缝集成到任何 CNN 架构中，开销可以忽略不计，并且可以与基础 CNN 一起进行端到端训练。论文链接:（CBAM论文）
yolov5-attention
04-12
该存储库代表Ultralytics对未来的对象检测方法的开源研究，并结合了在匿名客户数据集上数千小时的培训和发展过程中汲取的经验教训和最佳实践。 所有代码和模型都在积极开发中，如有更改或删除，恕不另行通知。 使用风险自负。 ** GPU速度使用批处理大小为32的V100 GPU测量超过5000张COCO val2017图像的平均每张图像的端到端时间，包括图像预处理，PyTorch FP16推理，后处理和NMS。 来自EfficientDet数据（批量大小为8）。 2021年1月5日： ：nn.SiLU（）激活，记录， 集成。 2020年8月13日： ：nn.Hardswish（）激活，数据自动下载，本机AMP。 2020年7月23日： ：改进了模型定义，培训和mAP。 2020年6月22日： 更新：新机头，减少了参数，提高了速度，并提高了mAP 。 2020年6月19日： 作为
YOLOv8改进 | 融合篇，YOLOv8添加CA注意力机制+新增小目标检测头，助力涨点
weixin_44779079的博客
07-02 1357
小目标检测难点众多，导致很多算法对小目标的检测效果远不如大中型目标。影响算法性能的主要原因如下:第一，小目标分辨率低、信息量不足，导致神经网络提取到的有效特征较少。第二，小目标在图像中所占的区域较小，易受背景干扰，这对算法的定位性能要求较高。第三，小物体标注困难，训练数据有限，导致模型泛化能力差。例如多尺度学习、无锚机制和生成对抗学习等方法，都能提高小目标检测的准确性和鲁棒性。为了改善小目标漏检现象严重的问题，我在 YOLOv8 中增加了 P2 检测头，相当于有四个检测头，使网络能检测到更小的目标。
注意力机制----CBAM
winner19990120的博客
12-06 2580
CBAM结构介绍 作者将注意力过程分为两个独立的部分，通道注意力模块和空间注意力模块。这样不仅可以节约参数和计算力，而且保证了其可以作为即插即用的模块集成到现有的网络架构中去。 通道注意力模块 特征的每一个通道都代表着一个专门的检测器，因此，通道注意力是关注什么样的特征是有意义的。为了汇总空间特征，作者采用了全局平均池化和最大池化两种方式来分别利用不同的信息。输入是一个 H×W×C 的特征 F，我们先分别进行一个空间的全局平均池化和最大池化得到两个1×1×C 的通道描述。接着，再将它们分别送入一...
注意力机制--CBAM
renxingshen2022的博客
11-10 4576
CBAM是轻量级注意力机制模块，不仅参数量和计算量小，而且能即插即用。
YOLOv8改进 | 注意力机制| 对小目标友好的BiFormer【CVPR2023】
kay_545
07-11 2455
yolov8，yolov8改进，Biformer
注意力机制（Attention Mechanism）-CBAM
热门推荐
Aaaa_ZZZ的博客
09-07 2万+
注意力机制
注意力机制之CBAM
wuxulong123的博客
09-09 1113
import torch import math import torch.nn as nn import torch.nn.functional as F import numpy as np class BasicConv(nn.Module): def __init__(self, in_planes, out_planes, kernel_size, stride=1, padding=0, dilation=1, groups=1, relu=True, bn=True, bias=Fal
yolov5-6.0网络添加小目标检测头 TensorRT部署
niuyuanye的博客
01-13 5633
yolov5-6.0网络添加小目标检测头 TensorRT部署
【注意力机制】CBAM: Convolutional Block Attention Module
可乐大牛的博客
09-25 853
本文提出了一个注意力模块，融合和空间注意力和通道注意力，轻量并且具有通用性。
改进yolov5系列：添加cbam注意力
06-11
CBAM（Convolutional Block Attention Module）是一种注意力机制，可以帮助模型在进行目标检测时更加准确地定位和识别目标。针对 YOLOv5 系列，我们可以在其骨干网络中添加 CBAM 注意力模块，以提高模型的检测性能。 具体来说，我们可以在 YOLOv5 的 CSPDarknet53 骨干网络中添加 CBAM 模块。CBAM 模块包括两个部分：通道注意力模块和空间注意力模块。通道注意力模块可以帮助模型更好地关注不同通道之间的关系，而空间注意力模块可以帮助模型更好地关注不同空间位置之间的关系。这两个部分可以结合起来，提高模型的检测性能。 在实践中，我们可以在 CSPDarknet53 的每个残差块的输出上添加 CBAM 模块。具体来说，我们可以在每个残差块的输出上进行通道注意力和空间注意力的计算，并将计算结果与原始输出相乘，得到加强后的特征图。最后，我们可以将加强后的特征图作为下一个残差块的输入，以进一步提高模型的检测性能。 通过添加 CBAM 注意力模块，我们可以在不改变模型整体结构的情况下，提高 YOLOv5 系列模型的检测性能。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值