小知识点系列(三) 本文(3万字) | PAN与代码复现 | Backbone之FPN与代码复现 | SPP / SPPF / SimSPPF / ASPP / RFB / SPPCSPC |

已于 2024-01-04 17:19:05 修改
阅读量1.3k 收藏 19
点赞数 15
CC 4.0 BY-SA版权
文章标签： YOLO 深度学习 人工智能 PAN FPN SPP SPP变种
于 2023-12-28 09:48:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302770/article/details/135261540
人工智能专栏计划 专栏收录该内容
142 篇文章

已下架不支持订阅

本文详细介绍了PAN（Path Aggregation Network）、FPN（Feature Pyramid Network）以及SPP（Spatial Pyramid Pooling）的变种结构，包括SPPF、SimSPPF、ASPP、RFB和SPPCSPC等。通过代码复现和实验对比，阐述了这些结构在多尺度特征融合和目标检测中的应用和优势。PAN通过自下而上的路径增强特征信息，FPN则利用金字塔结构融合不同层次的特征，而SPP变种则通过空间金字塔池化来处理不同尺寸输入。文章还提供了相应的代码实现和实验结果，以帮助读者深入理解这些技术。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

文章目录

PAN与代码复现

PAN全称Path Aggregation Network，是由Megvii在2018年提出的一种处理多尺度问题的方法。

PAN（Path Aggregation Network）是一个用于图像语义分割的深度神经网络架构。PAN的主要思路是通过聚合来自不同层级的特征图，使得每个特征图中的信息都可以被充分利用，从而提高检测精度。与FPN类似，PAN也是一种金字塔式的特征提取网络，但是它采用的是自下而上的特征传播方式。
  PAN的构建方式是从低分辨率的特征图开始向上采样，同时从高分辨率的特征图开始向下采样，将它们连接起来形成一条路径。在这个过程中，每一层特征图的信息都会与上下相邻层的特征图融合，但与FPN不同的是，PAN会将不同层级的特征图融合后的结果进行加和，而不是级联。这样可以避免在级联过程中信息的损失，同时还可以保留更多的细节信息，从而提高检测精度。
  在PAN中，网络的主干部分通常采用

了解本专栏 已下架不支持订阅
小酒馆燃着灯
关注
专栏目录

已下架不支持订阅

VisionTransformer改进（7）：集成ASPP模块增强多尺度特征提取能力
2401_82355416的博客
05-05 645
本文将详细介绍一个改进的Vision Transformer (ViT)模型实现，该模型在标准的ViT架构中集成了ASPP (Atrous Spatial Pyramid Pooling)模块，以增强模型的多尺度特征提取能力。代码概述ASPP模块详解ASPP模块通过并行使用不同扩张率的空洞卷积和全局平均池化来捕获多尺度上下文信息。
小知识点系列(一) 本文(2.2万字) | 图像变换 | 平移缩放旋转翻错切 | 仿射变换与透视变换 | 代码复现 |
专注于人工智能学习，总结
12-25 1136
旋转同平移一样，也是用仿射变换实现的，因此也需要定义一个变换矩阵。OpenCV直接提供了 cv.getRotationMatrix2D()函数来生成这个矩阵，该函数有三个参数：参数1：图片的旋转中心参数2：旋转角度(正：逆时针，负：顺时针)参数3：缩放比例，0.5表示缩小一半图解图像各种变换《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程图像几何变换仿射变换与透视变换。
深度学习中小知识点系列(七) 解读Backbone之FPN与代码复现
专注于人工智能学习，总结
11-27 1160
说的具体一些，Top-down过程的首先将 bottom-up最后一个阶段得到的特征图上采样到和bottom-up的第四阶段输出的特征图一样大的尺寸，然后在将通过横向连接（lateral connection）将他们进行 element-wise addition。输出相同的大小的特征图的卷积层作者称之为是一个阶段。​ 对于实际的物体检测算法，需要在特征图上进行**RoI（Region of Interests，感兴趣区域）**提取，而FPN有4个输出的特征图，选择哪一个特征图上面的特征也是个问题。
【论文复现】FPN
Gorgeous_wxd
11-30 2388
以RetinaNet里面的FPN为例 import torch.nn as nn import torch from torch.nn import functional as F class FPN(nn.Module): def __init__(self,C3_size,C4_size,C5_size,feature_size=256,use_p5=True): super().__init__() self.prj_5 = nn.Conv2d(C5_si
Windows10下的FPN_TensorFlow复现
weixin_49764531的博客
06-26 1434
目录1、模型准备工作1-1 模型运行环境1-2 模型地址1-3 数据集及resnet网络地址1-4 修改setup.py2、Demo测试模型2-1 放置resnet网络及修改cfgs.py2-2 下载权重2-3 数据集设置2-4 编译setup.py2-5 运行inference.py演示文件3、训练VOC数据集3-1 划分数据集3-2 修改参数3-3 read_tfrecord.py的修改3-4 运行read_tfrecord.py3-5 train.py 1、模型准备工作 1-1 模型运行环境 pyt
带你一步步完成经典FPN网络复现【小白友好】
m0_63642362的博客
06-19 644
从零到有，教你搭建FPN网络。FPN：特征金字塔网络，常用于分类和分割任务。
目标检测Neck：FPN（Feature Pyramid Network）与PAN（附torch代码）
猛码Memmat
09-19 2167
neck
空间金字塔池化改进 SPP / SPPF / SimSPPF / ASPP / RFB / SPPCSPC / SPPFCSPC
热门推荐
YOLOv8项目贡献者
08-15 14万+
汇总一些SPP结构
机器学习(九) 本文(4万字) | 支持向量机 | 第三篇 |（Support Vector Machine，SVM） | Python复现 |
专注于人工智能学习，总结
01-01 992
（1）数据集引入，并使用图像展示（2）使用SVM进行分类（注：用于分类的线性模型只能用一条直线来划分数据点，对这个数据集无法给出较好的结果）（3）现在我们对输入特征进行扩展，比如说添加第二个特征的平方（feature1 ＊＊ 2）作为一个新特征。现在我们将每个数据点表示为三维点(feature0, feature1,feature1 ＊＊ 2)，而不是二维点(feature0, feature1)（4）在数据的新表示中，现在可以用线性模型（三维空间中的平面）将这两个类别分开。
小知识点系列(二) 本文(8万字) | 解读数据增强 | Mosaic | MixUp | CutOut | CutMix | HSV | Albumentation |
专注于人工智能学习，总结
12-25 1085
点击进入专栏： 《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程 文章目录Mosaic前言原理完整实现代码第二种实现**3.1 方法介绍****3.2 代码展示****加载图片及标签**图像分割**图像合并****处理检测框边界****3.3 完整代码**最后一种通用代码MixUp1.1.1、背景理论1.1.2、算法介绍1.1.3、代码1.1.4、结果Random Erasing1
FPN(Feature Pyramid Networks for Object Detection)--2017 CVPR解读
qq_33948796的博客
04-27 2475
最近在研究Anchor FreeAnchor \ FreeAnchor Free目标检测，涉及到很多细碎的知识，一一了解！道阻且长~~~~~
FPN(Feature Pyramid Networks for Object Detection)安装与训练
yiweibian的博客
11-08 5711
FPN主要使用特征金字塔网络来融合多层特征，改进了CNN特征提取。其在小目标上取得了很大的进步。更多细节可以阅读论文。 下面分两个内容介绍：1. 安装 2. 训练测试1.安装对于FPN有好几个框架实现的版本，如：caffe，mxnet 等。本文是对caffe 版本的FPN安装。 1.1 安装环境 Ubuntu 16.04 Python 2.7 opencv 3.3.0由于之前安装过c
深入浅出之SPP、SPPF、SPPCSPC与ASPP模块（YOLO）
浩瀚之水的专栏
09-18 2万+
YOLOv4中的SPP模块是一个重要的组成部分，它通过融合不同尺度大小的特征图来增强网络的特征提取能力。SPP的引入使得YOLOv4能够更好地适应不同大小的输入图像，并提取出更加丰富的特征信息，从而提高目标检测的精度和泛化能力。
【语义分割】语义分割经典模块
AI爱好者的博客，分享计算机领域相关知识
03-15 1万+
本文将介绍深度学习语义分割任务中常用的几个模块，主要包括：ASPP、PP、Encoding、JPU、DCM几个模块，分析其原理并给出对应的代码实现，相信一定对你有所帮助。
ASPP（Atrous Spatial Pyramid Pooling）
qq_52302919的博客
01-04 3万+
受到SPP的启发，语义分割模型DeepLabv2中提出了ASPP模块，该模块使用具有不同采样率的多个并行空洞卷积层。为每个采样率提取的特征在单独的分支中进一步处理，并融合以生成最终结果。该模块通过不同的空洞rate构建不同感受野的卷积核，用来获取多尺度物体信息
【深度学习】【语义分割】ASPP
Hana
10-18 6万+
ASPP 空洞空间卷积池化金字塔(atrous spatial pyramid pooling (ASPP))对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文。 上图为deeplab v2的ASPP模块，deeplabv3中向ASPP中添加了BN层，其中空洞卷积的rate的意思是在普通卷积的基础上，相邻权重之间的间隔为rate-1, 普通卷积的rate默认为1，所以...
[语义分割] ASPP不同版本对比（DeepLab、DeepLab v1、DeepLab v2、DeepLab v3、DeepLab v3+、LR-ASPP）
Le0v1n 的博客
08-02 5423
DeepLab、DeepLab v1、DeepLab v2、DeepLab v3、DeepLab v3+、LR-ASPP
改进版ASPP：ASPP加入通道注意力机制(SENET)，即SE_ASPP
qq_45014374的博客
10-25 1万+
空洞空间卷积池化金字塔（atrous spatial pyramid pooling (ASPP)）通过对于输入的特征以不同的采样率进行采样，即从不同尺度提取输入特征，然后将所获取的特征进行融合，得到最终的特征提取结果。
增强感受野SPP、ASPP、RFB、PPM
yx868yx的博客
07-06 2万+
1、SPP（Spatial Pyramid Pooling） SPP模块是何凯明大神在2015年的论文《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》中被提出。 由于CNN网络后面接的全连接层需要固定的输入大小，故往往通过将输入图像resize到固定大小的方式输入卷积网络，这会造成几何失真影响精度。SPP模块就解决了这一问题，他通过三种尺度的池化，将任意大小的特征图固定为相同长度的特征向量，传输给全
Input：输入Backbone：New CSP-Darknet53Neck：SPFF和New CSP-PANHead(prediction)：Yolov3 head
最新发布
03-08
### CSP-Darknet53 Neck 结构 在YOLOv5架构中，Neck部分起到了连接Backbone和Head的关键作用。具体来说，在CSP-Darknet53作为Backbone的情况下，Neck采用了SPPF（Spatial Pyramid Pooling - Fast）模块来增强特征表达能力[^1]。 #### SPPF 模块详解 SPPF是一种改进版的空间金字塔池化技术，旨在加速原始SPP操作并减少参数数量。其核心思想是在不同尺度上对输入特征图进行最大池化处理，并将这些多尺度特征融合在一起形成更丰富的上下文表示。这种机制有助于捕捉目标的不同尺寸信息，从而提高检测精度。 ```python import torch.nn as nn class SPPF(nn.Module): def __init__(in_channels, out_channels): super(SPPF, self).__init__() self.conv1 = Conv(in_channels, out_channels) self.maxpool_s1 = nn.MaxPool2d(kernel_size=5, stride=1, padding=2) self.maxpool_s2 = nn.MaxPool2d(kernel_size=9, stride=1, padding=4) self.maxpool_s3 = nn.MaxPool2d(kernel_size=13, stride=1, padding=6) def forward(x): x = self.conv1(x) sppf_1 = self.maxpool_s1(x) sppf_2 = self.maxpool_s2(sppf_1) sppf_3 = self.maxpool_s3(sppf_2) return torch.cat([x, sppf_1, sppf_2, sppf_3], dim=1) ``` ### 新的 CSP-PAN Head 架构解析 对于Head部分，则引入了全新的CSP-PAN结构用于预测层的设计。PANet（Path Aggregation Network）原本是为了改善FPN（Feature Pyramid Networks）而提出的路径聚合网络，它能够更好地传递低级到高级的信息流。在此基础上加入CSP设计理念后的版本不仅继承了上述优点，还进一步降低了计算成本，提升了模型效率[^2]。 ```python from yolov3_head import YOLOv3PredictionLayer # 假设这是Yolov3头实现文件 def build_csp_pan_backbone(): csp_darknet53_neck_with_spff = ... # 定义上面提到过的Neck class CSP_PAN_Hybrid(YOLOv3PredictionLayer): def __init__(): super().__init__() # 这里省略了一些初始化细节 def forward(features_from_neck): p3_out, p4_out, p5_out = features_from_neck # 实现具体的PAN逻辑... return predictions_at_multiple_levels return CSP_Darknet53_Neck(csp_darknet53_neck_with_spff), CSP_PAN_Hybrid() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值