YOLOv5中的SPP/SPPF结构详解

最新推荐文章于 2024-11-07 20:19:20 发布
最新推荐文章于 2024-11-07 20:19:20 发布
阅读量2.1k 收藏 9
点赞数 1
文章标签： 深度学习 计算机视觉 python
原文链接：https://blog.csdn.net/weixin_55073640/article/details/122621148
版权

一、SPP的应用的背景

在卷积神经网络中我们经常看到固定输入的设计，但是如果我们输入的不能是固定尺寸的该怎么办呢？

通常来说，我们有以下几种方法：

（1）对输入进行resize操作，让他们统统变成你设计的层的输入规格那样。但是这样过于暴力直接，可能会丢失很多信息或者多出很多不该有的信息（图片变形等），影响最终的结果。

（2）替换网络中的全连接层，对最后的卷积层使用global average pooling，全局平均池化只和通道数有关，而与特征图大小没有关系

（3）最后一个当然是我们要讲的SPP结构啦~

Note：

但是在yolov5中SPP/SPPF作用是：实现局部特征和全局特征的featherMap级别的融合。（感谢@qq_44622851博友的提醒）

二、SPP结构分析

SPP结构又被称为空间金字塔池化，能将任意大小的特征图转换成固定大小的特征向量。

接下来我们来详述一下SPP是怎么处理滴~

输入层：首先我们现在有一张任意大小的图片，其大小为w * h。

输出层：21个神经元 -- 即我们待会希望提取到21个特征。

分析如下图所示：分别对1 * 1分块，2 * 2分块和4 * 4子图里分别取每一个框内的max值（即取蓝框框内的最大值），这一步就是作最大池化，这样最后提取出来的特征值（即取出来的最大值）一共有1 * 1 + 2 * 2 + 4 * 4 = 21个。得出的特征再concat在一起。

而在YOLOv5中SPP的结构图如下图所示：

其中，前后各多加一个CBL，中间的kernel size分别为1 * 1，5 * 5，9 * 9和13 * 13。

三、SPPF结构分析

（x，y1这些是啥请看下面的代码）

CBL(conv+BN+Leaky relu)改成CBS(conv+BN+SiLU)哈，之前没注意它的名称变化。

四、YOLOv5中SPP/SPPF结构源码解析（内含注释分析）

代码注释与上图的SPP结构相对应。


  
  
  1. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      class 
      
      SPP(nn.Module):
     
     
    
    
    
  2. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
        
      
      def 
      
      __init__(
      
      self, c1, c2, k=(5, 9, 13)):
      
      #这里5，9，13，就是初始化的kernel size
     
     
    
    
    
  3. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
            
      
      super().__init__()
     
     
    
    
    
  4. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              c_ = c1 // 
      
      2  
      
      # hidden channels
     
     
    
    
    
  5. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              self.cv1 = Conv(c1, c_, 
      
      1, 
      
      1)
      
      #这里对应第一个CBL
     
     
    
    
    
  6. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              self.cv2 = Conv(c_ * (
      
      len(k) + 
      
      1), c2, 
      
      1, 
      
      1)
      
      #这里对应SPP操作里的最后一个CBL
     
     
    
    
    
  7. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              self.m = nn.ModuleList([nn.MaxPool2d(kernel_size=x, stride=
      
      1, padding=x // 
      
      2) 
      
      for x 
      
      in k])
     
     
    
    
    
  8. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
            
      
      #这里对应SPP核心操作，对5 * 5分块，9 * 9分块和13 * 13子图分别取最大池化
     
     
    
    
    
  9. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  10. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
        
      
      def 
      
      forward(
      
      self, x):
     
     
    
    
    
  11. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              x = self.cv1(x)
     
     
    
    
    
  12. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
            
      
      with warnings.catch_warnings():
     
     
    
    
    
  13. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                  warnings.simplefilter(
      
      'ignore')  
      
      # suppress torch 1.9.0 max_pool2d() warning忽略警告
     
     
    
    
    
  14. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
                
      
      return self.cv2(torch.cat([x] + [m(x) 
      
      for m 
      
      in self.m], 
      
      1))
     
     
    
    
    
  15. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
                
      
      #torch.cat对应concat

SPPF结构


  
  
  1. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      class 
      
      SPPF(nn.Module):
     
     
    
    
    
  2. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
        
      
      # Spatial Pyramid Pooling - Fast (SPPF) layer for YOLOv5 by Glenn Jocher
     
     
    
    
    
  3. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
        
      
      def 
      
      __init__(
      
      self, c1, c2, k=5):  
      
      # equivalent to SPP(k=(5, 9, 13))
     
     
    
    
    
  4. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
            
      
      super().__init__()
     
     
    
    
    
  5. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              c_ = c1 // 
      
      2  
      
      # hidden channels
     
     
    
    
    
  6. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              self.cv1 = Conv(c1, c_, 
      
      1, 
      
      1)
     
     
    
    
    
  7. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              self.cv2 = Conv(c_ * 
      
      4, c2, 
      
      1, 
      
      1)
     
     
    
    
    
  8. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              self.m = nn.MaxPool2d(kernel_size=k, stride=
      
      1, padding=k // 
      
      2)
     
     
    
    
    
  9. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  10. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
        
      
      def 
      
      forward(
      
      self, x):
     
     
    
    
    
  11. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              x = self.cv1(x)
      
      #先通过CBL进行通道数的减半
     
     
    
    
    
  12. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
            
      
      with warnings.catch_warnings():
     
     
    
    
    
  13. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                  warnings.simplefilter(
      
      'ignore')  
      
      # suppress torch 1.9.0 max_pool2d() warning
     
     
    
    
    
  14. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                  y1 = self.m(x)
     
     
    
    
    
  15. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                  y2 = self.m(y1)
     
     
    
    
    
  16. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
                
      
      #上述两次最大池化
     
     
    
    
    
  17. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
                
      
      return self.cv2(torch.cat([x, y1, y2, self.m(y2)], 
      
      1))
     
     
    
    
    
  18. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
                
      
      #将原来的x,一次池化后的y1,两次池化后的y2,3次池化的self.m(y2)先进行拼接，然后再CBL
WTIAW.TIAW
关注
YOLOv5改进 | SPPF篇 | FocalModulation替换SPPF（精度更高的空间金字塔池化）
Snu77的博客
12-18 3806
本文给大家带来的改进是用FocalModulation技术来替换了原有的SPPF（快速空间金字塔池化）模块。FocalModulation是今年新提出的特征增强方法，它利用注意力机制来聚焦于图像中的关键区域，从而提高模型对这些区域的识别能力。与SPPF相比，FocalModulation不仅能够处理不同尺寸的输入图像，还能更精确地识别和定位图像中的对象。这一技术特别适用于处理那些难以检测的小对象或在复杂背景中的对象（更多的检测效果请看第二章）。我进行了简单的实验，这个FocalModulation能提升精度
详解YOLOv8网络结构/环境搭建/数据集获取/训练/推理/验证/导出/部署
Snu77的博客
10-28 7万+
YOLO（You Only Look Once）系列算法因其高效、准确等特点而备受瞩目。由2023年Ultralytics公司发布了YOLO的最新版本YOLOv8是结合前几代YOLO的基础上的一个融合改进版。本文YOLOv8网络结构/环境搭建/数据集获取/训练/推理/验证/导出/部署，从网络结构的讲解从模型的网络结构讲解到模型的部署都有详细介绍，同时在本专栏中还包括YOLOv8模型系列的改进包括个人提出的创新点，传统卷积、注意力机制、损失函数的修改教程，能够帮助你的论文获得创新点。
【YOLOv5】SPP、SPPF模块及添加ASPP模块
someone
01-18 2万+
文章目录YOLOv5配置文件SPP介绍YOLOv5中的SPPSPPFASPPpytorch中实现ASPP插入到YOLOv5中 YOLOv5配置文件 SPP介绍 why CNN可以简略的 = 卷积网络层+全连接网络部分。 卷积核：完全能够适用任意大小的输入，并且能够产生任意大小的输出。 全连接层：参数是神经元对于所有输入的连接权重。如果输入尺寸不固定的话，全连接层参数的个数都不能固定。 CNN对于每一个区域候选都需要首先将图片放缩到固定尺度。 problem 速度瓶颈：重复为每个region proposal
YOLOv5中的SPPF模块的详细解释（合适新人）
最新发布
小二、来壶酒
11-07 4280
YOLOv5中的SPPF模块的详细解释（合适新人）
记录yolov5目标检测算法学习（主要模块学习之sppf模块）23/10/19
这个博主不懒，但Ta什么也没写~（私信互关24小时必回）
10-19 8612
本篇介绍yolov5模型中的sppf模块
SPP和SPPF（in YOLOv5）
weixin_53333595的博客
12-01 8814
SPP是空间金字塔池化，作用是一个实现一个自适应尺寸的输出。（传统的池化层如最大池化、平均池化的输出大小是和输入大小挂钩的，但是我们最后做全连接层实现分类的时候需要指定全连接的输入，所以我们需要一种方法让神经网络在某层得到一个固定维度的输出，而且这种方法最好不是resize（resize会失真），由此SPP应运而生，其最早是何凯明提出，应用于RCNN模型）当今的SPP在faster-rcnn上已经发展为今天的Multi-Scale-ROI-Align，而在Yolo上发展为SPPF。
YOLOv5报错AttributeError: Can‘t get attribute ‘SPPF‘ on ＜module ‘models.common‘ from ‘C:\\Users\\23688
David_Learning的博客
10-15 1718
求救！！！
YOLOv5/v7/v8/v10算法网络结构图-原型文件
07-21
### YOLOv5/v7/v8/v10算法网络结构概述 #### 一、YOLOv5架构解析 **1.1 YOLOv5s结构简介** YOLOv5s模型是一种高效的实时目标检测模型，其网络结构设计精巧，能够实现较高的检测精度与较快的处理速度。该模型主要...
YOLOV8-源码解读-SPP-SPPF
qq_37040743的博客
07-25 2533
YOLOV8-源码解读-SPP与SPPF，以及ModuleList函数
YOLOv8改进，一文教你改进Neck的SPPF结构为SimSPPF、SPP-CSPC和SPPF-CSPC
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
09-12 1025
YOLOv8改进系列，一文教你改进Neck的SPPF结构替换为SimSPPF、SPP-CSPC和SPPF-CSPC
深入浅出之SPP、SPPF、SPPCSPC与ASPP模块（YOLO）
浩瀚之水的专栏
09-18 1万+
YOLOv4中的SPP模块是一个重要的组成部分，它通过融合不同尺度大小的特征图来增强网络的特征提取能力。SPP的引入使得YOLOv4能够更好地适应不同大小的输入图像，并提取出更加丰富的特征信息，从而提高目标检测的精度和泛化能力。
YOLOv8改进 | SPPF | 双通道特征处理的池化结构——SPPFCSPC【全网独家】
kay_545
06-22 2633
yolov8，yolov8改进，SPPFCSP
YOLOv5改进 | SPPF | 具有多尺度带孔卷积层的ASPP【CVPR2018】
kay_545
06-25 2030
yolov5，yolov5改进，ASPP
目标检测 YOLOv5 SPP模块
二分掌柜的
05-31 1万+
目标检测 YOLOv5 SPP模块 flyfish 版本YOLOv5 : v5 何恺明提出Spatial Pyramid Pooling（空间金字塔池化）论文是《Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition》 SPP的在原论文中的位置 SPP在YOLOv5中的位置 红色标出 SPP代码如下 import torch import torch.nn as nn def autopad(k, p=N
【YOLOv5/v7改进系列】改进池化层为SPP、SPPF、SPPCSPC
2401_84870184的博客
06-08 3135
池化层（Pooling Layer）是卷积神经网络（Convolutional Neural Networks, CNNs）中的一个重要组成部分，主要用于减少输入数据的空间尺寸（例如，图像的宽度和高度），同时保持其最重要的信息。这一过程称为下采样（downsampling）或者降维。池化操作通过提取特征图（feature maps）的摘要信息来实现，这些摘要信息通常是原特征的统计量，如最大值、平均值或其他聚合方式的结果。
Yolov5代码解析(输入端、BackBone、Neck、输出端))
m0_62396648的博客
06-19 1万+
正负样本都是针对于算法经过处理生成的框，用于计算损失，而在预测过程和验证过程是没有这个概念的。正例用来使预测结果更靠近真实值的，负例用来使预测结果更远离除了真实值之外的值的。正负样本的比例最好为1：1到1：2左右，数量差距不能太悬殊，特别是正样本数量本来就不太多的情况下。如果负样本远多于正样本，则负样本会淹没正样本的损失，从而降低网络收敛的效率与检测精度。这就是目标检测中常见的正负样本不均衡问题，解决方案之一是增加正样本数。
【YOLOV5】
zhouazhu的博客
04-18 3511
​(1)主干部分：特征提取(2)残差边部分：不做任何的处理(1)主干进行残差、堆叠(2)残差边部分进行少量的处理每隔一像素点取一值，将取值后的结果在通道上进行堆叠得到一个特征层通过不同池化核大小的最大池化进行特征提取，提高网络的感受野如下图所示，yolov5网络主要分为主干网络部分和加强特征提取网络部分。 1.首先对数据集进行标注、划分为训练集和验证集。对数据进行增强等相关的处理之后，对处理好的图像进行Focus前处理 2.处理后的数据依次进行到主干网络、加强特征网络（FPN、PAN）、和Head层。数据进
YOLOv5网络模型的结构原理讲解（全）
热门推荐
码农研究僧的博客
04-25 8万+
YOLOv5有几种不同的架构，各网络模型算法性能分别如下： YOLOv5是一种目标检测算法，其模型结构主要包括以下组成部分：输入端：YOLOv5的Head网络由3个不同的输出层组成，分别负责检测大中小尺度的目标。Backbone网络：YOLOv5使用CSPDarknet53作为其主干网络，其具有较强的特征提取能力和计算效率。Neck网络：YOLOv5使用的是FPN(FPN网络能够在不同的特征图层次上进行检测，可以提高目标检测的性能)网络，可以融合来自不同特征图层次的信息。输出端：损失函数，YOLOv5使用的
目标检测算法(三)YOLOv5 SPPF层的前身SPP-NET精细分析和讲解并附源码地址
Snu77的博客
06-26 4324
SPP-Net是一种基于卷积神经网络的图像分类和物体检测方法，其最显著的特点是引入了SPP（Spatial Pyramid Pooling）层，可以对任意大小的输入图像进行处理，从而提高了网络的泛化能力和效率。 SPP层是一种池化层，可以对不同尺寸的特征图进行池化操作，得到固定长度的特征向量。SPP层的输入可以是任意大小的特征图，输出是一个固定长度的特征向量，可以用于分类器的输入。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值