YOLOv5改进网络：CBAM+小目标检测头

已于 2024-04-08 16:18:22 修改
阅读量1.6k 收藏 33
点赞数 2
分类专栏： 目标检测 文章标签： 深度学习 目标检测 人工智能 YOLO
于 2023-05-29 18:00:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51431157/article/details/130931313
版权
文章探讨了在YOLOv5对象检测模型中引入CBAM模块和小目标检测头对模型性能的影响。实验结果显示，添加CBAM模块提升了精确度和召回率，但MAP值下降。通过在backbone中插入C3CBAM和增加特定的小目标检测头，针对TinyPerson数据集的训练显示了显著的提升效果。代码示例展示了如何在模型中实现这些改动，并提供了配置文件用于训练不同版本的模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

 

 

实验结果表明：添加CBAM模块后精确度P和召回率R略有提升，但map值却有所降低。 

 红色框是新增小目标检测头的结构，融合了高层的语义信息，同时又有低层的位置信息。

三个模型：yolov5s    添加注意力机制的yolov5s_CBAM       添加检测头的yolov5s_add 

将三个模型通过对TinyPerson数据集训练，添加检测头的模型提升效果显著，添加注意力机制的模型略有提升。

代码示例：

1、在common.py中写入CBAM相关函数（下面代码），外部调用时调用C3CBAM类

# CBAM
class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=16):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)
        self.f1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
        self.relu = nn.ReLU()
        self.f2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)
        self.sigmoid = nn.Sigmoid()
    def forward(self, x):
        avg_out = self.f2(self.relu(self.f1(self.avg_pool(x))))
        max_out = self.f2(self.relu(self.f1(self.max_pool(x))))
        out = self.sigmoid(avg_out + max_out)
        return out
class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()
        assert kernel_size in (3, 7), 'kernel size must be 3 or 7'
        padding = 3 if kernel_size == 7 else 1
        # (特征图的大小-算子的size+2*padding)/步长+1
        self.conv = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)
        self.sigmoid = nn.Sigmoid()
    def forward(self, x):
        # 1*h*w
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        x = torch.cat([avg_out, max_out], dim=1)
        #2*h*w
        x = self.conv(x)
        #1*h*w
        return self.sigmoid(x)
class CBAM(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, ratio=16, kernel_size=7):  # ch_in, ch_out, number, shortcut, groups, expansion
        super(CBAM, self).__init__()
        self.channel_attention = ChannelAttention(c1, ratio)
        self.spatial_attention = SpatialAttention(kernel_size)
    def forward(self, x):
        out = self.channel_attention(x) * x
        # c*h*w
        # c*h*w * 1*h*w
        out = self.spatial_attention(out) * out
        return out

class CBAMBottleneck(nn.Module):
    # Standard bottleneck
    def __init__(self, c1, c2, shortcut=True, g=1, e=0.5,ratio=16,kernel_size=7):  # ch_in, ch_out, shortcut, groups, expansion
        super(CBAMBottleneck,self).__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c_, c2, 3, 1, g=g)
        self.add = shortcut and c1 == c2
        self.channel_attention = ChannelAttention(c2, ratio)
        self.spatial_attention = SpatialAttention(kernel_size)
        #self.cbam=CBAM(c1,c2,ratio,kernel_size)
    def forward(self, x):
        x1=self.cv2(self.cv1(x))
        out = self.channel_attention(x1) * x1
        # print('outchannels:{}'.format(out.shape))
        out = self.spatial_attention(out) * out
        return x + out if self.add else out



class C3CBAM(C3):
    # C3 module with CBAMBottleneck()
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):
        super().__init__(c1, c2, n, shortcut, g, e)
        c_ = int(c2 * e)  # hidden channels
        self.m = nn.Sequential(*(CBAMBottleneck(c_, c_,shortcut) for _ in range(n)))

2、yolo.py文件增加判断条件：

3-1、新建配置文件yolov5m_C3CBAM.yaml（主干网络backbone中插入C3CBAM），原文件为yolov5m.yaml     

注释：nc为目标类别数量，我的任务目标有两个类，所以应该为2。下图的80是原代码的类别数量

3-2、新建配置文件yolov5m_addlayer.yaml（主干网络backbone不变，head部分增加小目标检测头，增加小目标预设锚框anchors），原文件为yolov5m.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 2  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [4,5, 8,10, 22,18] # P2/4  增加P2特征层
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3

   # add feature extration layer  ########
   [-1, 3, C3, [256, False]],  # 17
   [-1, 1, Conv, [128, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 2], 1, Concat, [1]],  # cat backbone P3

   # add detect layer
   [-1, 3, C3, [128, False]],  # 21 (P4/4-minium)

   [-1, 1, Conv, [128, 3, 2]],
   [[-1, 18], 1, Concat, [1]],  # cat head P3
   # end

   [-1, 3, C3, [256, False]],  # 24 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 27 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 30 (P5/32-large)

   [[21, 24, 27, 30], 1, Detect, [nc, anchors]],  # Detect(P2, P3, P4, P5)  输出的层，按上面的层数从上往下数（一共31层（不含输入层和输出））
  ]

3-3、新建配置文件yolov5m_addlayer_C3CBAM.yaml（主干网络backbone中插入C3CBAM，head部分增加小目标检测头，增加小目标预设锚框anchors），原文件为yolov5m.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 2  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [4,5, 8,10, 22,18] # P2/4  增加P2特征层
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3CBAM, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3CBAM, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3CBAM, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3CBAM, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3

   # add feature extration layer  ########
   [-1, 3, C3, [256, False]],  # 17
   [-1, 1, Conv, [128, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 2], 1, Concat, [1]],  # cat backbone P3

   # add detect layer
   [-1, 3, C3, [128, False]],  # 21 (P4/4-minium)

   [-1, 1, Conv, [128, 3, 2]],
   [[-1, 18], 1, Concat, [1]],  # cat head P3
   # end

   [-1, 3, C3, [256, False]],  # 24 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 27 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 30 (P5/32-large)

   [[21, 24, 27, 30], 1, Detect, [nc, anchors]],  # Detect(P2, P3, P4, P5)  输出的层，按上面的层数从上往下数（一共31层（不含输入层和输出））
  ]

4、训练：按照官网给的命令进行训练即可，注意指定配置文件。

上述三个配置文件对于三个不同实验：

        1、yolov5m_C3CBAM.yaml。增加空间与通道注意力改进yolov5

        2、yolov5m_addlayer.yaml。针对密集或小目标检测，增加小目标检测头的改进。

        3、yolov5m_addlayer_C3CBAM.yaml。结合两者的改进。CBAM是即插即用的二维卷积模块，其放置位置可以改变，不仅在backbone中可以使用，在head层的特征金字塔内亦可使用。

5、三种改进网络训练后的结果对比：

使用生成的result.csv文件进行对比

具体可见：YOLO训练results.csv文件可视化（原模型与改进模型对比可视化）_yolo csv文件怎么用-CSDN博客

YOLOv5算法改进（16）— 增加小目标检测层 | 四头检测机制（包括代码+添加步骤+网络结构图）
突然好想你
10-21 3410
作者通过网络结构图的形式循序渐进的为您讲解如何在YOLOv5中增加小目标检测层，相信看完本篇文章，您一定会有所收获！
YOLOv8 改进: 添加 CA 注意力机制 + 新增小目标检测头
最新发布
走向CTO的路上...
03-19 656
通过结合 CA 注意力机制和新增的小目标检测头，YOLOv8 能够更有效地关注细节丰富的区域和小目标，在多样化环境中表现出色。这些改进使得模型更适用于实际应用中复杂场景的需求。
Yolov5s原始损失函数的改进与CBAM注意力机制的引入（yolov5s的优化）
2301_81678815的博客
12-02 1983
yolov5s，注意力机制CBAM的引入与损失函数的改进
YOLOV5中添加CBAM模块详解——原理+代码
python_plus的博客
03-07 5319
本文详细讲解了CBAM模块中的CAM和SAM过程，并提供了将CBAM添加到YOLOv5中的代码
yoloV5 增加小目标检测层
m0_64298393的博客
05-29 1万+
原始网络有三个检测头： 分别是 80x80 （小目标） 40x40（中目标） 160x160(小目标)，现在要增加小目标检测层，就可以在80 x 80 的上一步，也就是 160 x 160 尺寸增加为了检测160 x 160的检测头，因此需将backbon中160 与NECK中的 160 相加（残差网络），但原始网络中 NECK没有60 x 160的特征图，但可以对 80x80的特征图再进行一次上采样，得到160x160的特征图，并于backbon中60x160的特征图连接即可得到下图的网络图。
YOLOv5改进 | 注意力机制 | 通道和空间的双重作用的CBAM注意力机制
kay_545
05-12 3029
CBAM（Convolutional Block Attention Module）是一种用于增强卷积神经网络（CNN）性能的注意力机制。它由两个子模块组成：通道注意力模块和空间注意力模块。通道注意力模块通过全局平均池化和全连接层学习通道间的关系，并利用学到的权重对每个通道的特征图进行加权，以增强有用的特征并抑制无用的特征。空间注意力模块则通过对特征图在空间维度上进行最大池化和平均池化操作，结合两种池化结果通过全连接层学习得到每个空间位置的权重，使得网络能够更好地关注图像中的重要区域。
Swin-Transformer小目标检测头在YOLOv5上的优化
带你成为别人眼中的大佬！
05-28 1118
Swin-Transformer是一种新型的Transformer模型，相比于传统的Transformer模型，它采用了分层的方式来处理图像信息，从而减少了模型的计算量，同时提高了模型的精度。在本文中，我们将使用Swin-Transformer来设计小目标检测头，以提高YOLOv5在小目标检测方面的能力。通过以上步骤，我们成功实现了基于Swin-Transformer的小目标检测头，并将其应用到了YOLOv5模型中，该模型能够更好地处理小目标检测任务。
YOLOv8 改进：添加 CBAM 注意力机制
走向CTO的路上...
03-15 1011
通过在 YOLOv8 中集成 CBAM，模型可以更有效地聚焦于关键特征区域，从而提升检测性能，特别是在复杂背景和小目标情况下。虽然增加了一些计算成本，但通常是值得的性能权衡。
【目标检测】yolov7改进系列：主干网络中添加CBAM注意力机制网络
学无止境、积少成多、厚积薄发
11-02 4715
yolov7改进系列：主干网络中添加CBAM注意力机制网络
【YOLOv8改进- 多模块融合改进】ResBlock + CBAM: 基于ResBlock的通道+空间注意力，增强特征提取
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
08-13 816
【YOLOv8改进- 多模块融合改进】ResBlock + CBAM: 基于ResBlock的通道+空间注意力，增强特证提取
YOLOv8改进 | 融合篇，YOLOv8添加CA注意力机制+新增小目标检测头，助力涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
07-02 3603
小目标检测难点众多，导致很多算法对小目标的检测效果远不如大中型目标。影响算法性能的主要原因如下:第一，小目标分辨率低、信息量不足，导致神经网络提取到的有效特征较少。第二，小目标在图像中所占的区域较小，易受背景干扰，这对算法的定位性能要求较高。第三，小物体标注困难，训练数据有限，导致模型泛化能力差。例如多尺度学习、无锚机制和生成对抗学习等方法，都能提高小目标检测的准确性和鲁棒性。为了改善小目标漏检现象严重的问题，我在 YOLOv8 中增加了 P2 检测头，相当于有四个检测头，使网络能检测到更小的目标。
深度学习—yolov5改进小目标检测
Cossack_boy的博客
02-17 3419
yolov5改进—小目标检测头+CBAM+BiFPN
YOLOv10优改系列二：YOLOv10融合CBAM注意力机制，赋能YoloV10小目标识别能力
源的博客
11-19 442
🌳论文地址点击🌳源码地址🌳论文概述CBAM旨在克服传统卷积神经网络在处理不同尺度、形状和方向信息时的局限性。为此，CBAM引入了两种注意力机制：通道注意力和空间注意力。通道注意力有助于增强不同通道的特征表示，而空间注意力有助于提取空间中不同位置的关键信息。🌳主要思想CBAM 的核心主要思想是通过注意力机制来增强卷积神经网络对特征的提取和利用能力。在传统的 CNN 中，卷积层主要是通过固定的卷积核来提取特征，对于不同重要程度的特征缺乏自适应的区分能力。
YOLOv5改进系列（1）——添加CBAM注意力机制
vimpirespider的博客
09-30 2702
例如，在图像分类任务中，模型不需要对整张图像的每一个像素都一视同仁，而是可以专注于那些关键区域，如目标物体的边缘或特征。在句子处理时，模型可以根据句子的上下文，专注于那些对语义理解最为关键的单词或短语，而忽略不太重要的部分。当你听到某些关键字时，比如“你的名字”或者“你感兴趣的话题”，你会自动把注意力从书上转移到他们的谈话上，尽管你并没有完全忽略书本的内容。（7×7比3×3效果更好）操作，降维为1个channel，即叠积核融合通道信息，特征图的shape从b,2,h,w - >b,1,h,w。
【目标检测】|CBAM
qq_35608277的博客
06-15 1309
本文提出了卷积块的注意力模块（Convolutional Block Attention Module），简称CBAM，该模块是一个简单高效的前向卷积神经网络注意力模块。给定一张特征图，CBAM沿着通道（channel）和空间（spatial）两个单独的维度依次推断注意力图，然后将注意力图和输入特征图相乘，进行自适应特征细化。因为CBAM是一个轻量级的通用模块，可以无缝的集成到任何CNN架构中，几乎对效率，算力没有影响，能够实现端到端的训练。 特征图 2D spatial attention map Ms
yolov5改进之加入CBAM,SE,ECA,CA,SimAM,ShuffleAttention,Criss-CrossAttention,CrissCrossAttention多种注意力机制
热门推荐
Wansit的博客
01-28 1万+
yolov5改进之加入CBAM等多种注意力机制
注意力机制----CBAM
winner19990120的博客
12-06 2656
CBAM结构介绍 作者将注意力过程分为两个独立的部分，通道注意力模块和空间注意力模块。这样不仅可以节约参数和计算力，而且保证了其可以作为即插即用的模块集成到现有的网络架构中去。 通道注意力模块 特征的每一个通道都代表着一个专门的检测器，因此，通道注意力是关注什么样的特征是有意义的。为了汇总空间特征，作者采用了全局平均池化和最大池化两种方式来分别利用不同的信息。输入是一个 H×W×C 的特征 F，我们先分别进行一个空间的全局平均池化和最大池化得到两个1×1×C 的通道描述。接着，再将它们分别送入一...
注意力机制--CBAM
renxingshen2022的博客
11-10 5021
CBAM是轻量级注意力机制模块，不仅参数量和计算量小，而且能即插即用。
YOLOv8改进 | 注意力机制| 对小目标友好的BiFormer【CVPR2023】
kay_545
07-11 3102
yolov8，yolov8改进，Biformer
yolov5s多尺度特征融合
01-10
### YOLOv5s 中多尺度特征融合的实现方法与原理 #### 特征金字塔网络 (FPN) YOLOv5s 使用了基于 FPN 的架构来增强不同层次特征图之间的信息交流。通过自顶向下的路径，将高层次语义丰富的低分辨率特征逐步传递给高分辨率特征层，使得每一层都能获得更全面的信息[^3]。 ```python def build_backbone(): # 构建骨干网... def build_neck(features): P3, P4, P5 = features[-1], features[-2], features[-3] # 上采样并拼接P5到P4 upsampled_p5 = nn.Upsample(scale_factor=2)(conv(P5)) concat_1 = torch.cat([upsampled_p5, conv(P4)], dim=1) # 继续处理得到最终的P4' processed_P4 = ... # 同样的操作应用于P4' 和 P3 得到更高分辨率的特征图 ... ``` #### 自底向上路径聚合网络 (PANet) 除了传统的 FPN 结构外，YOLOv5 还引入了 PANet 来进一步加强跨尺度特征交互能力。具体来说，在完成一次标准 FPN 融合之后，再执行一轮由下至上的特征重组合成过程，形成双向循环机制，有效提高了小物体检测效果以及整体定位精度[^1]。 ```python def build_panet(fpn_features): p3_out, p4_out, p5_out = fpn_features # 下采样并将p3连接到p4 downsampled_p3 = conv(nn.MaxPool2d(kernel_size=2))(p3_out) combined_p4 = torch.cat((downsampled_p3, p4_out), axis=1) # 对新的p4继续向下传播并与p5结合 final_combined_feature_maps = [ process_layer(p3_out), process_layer(combined_p4), process_layer(torch.cat(( conv(nn.MaxPool2d(kernel_size=2))(combined_p4)), p5_out, ),axis=1))] return final_combined_feature_maps ``` #### 创新性改进 - iAFF 方法 为了更好地解决传统FNP/PAN存在的问题，有研究提出了iAFF（Improved Attention Fusion Feature）方案用于优化YOLOv5中的多尺度特征融合部分。此技术不仅能够自动调整各层权重比例关系，而且可以动态捕捉空间位置依赖特性，进而显著改善模型对于复杂场景的理解力和适应度[^5]。 ```python class IAFF(nn.Module): def __init__(self, channels_list=[...]): super().__init__() self.channels_list = channels_list # 初始化注意力模块和其他组件... def forward(self, inputs): weighted_sum = sum([ attention_module(input_) * input_ for input_, attention_module in zip(inputs, self.attention_modules)]) enhanced_output = activation_function(weighted_sum + lateral_connection_term) return enhanced_output ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值