PSP-Net的理解（多尺度特征融合分割）

最新推荐文章于 2025-03-06 17:17:09 发布
最新推荐文章于 2025-03-06 17:17:09 发布
阅读量8.9k 收藏 20
点赞数 1
分类专栏： 卷积神经网络

Pyramid Scene Parsing Network

收录：CVPR 2017 (IEEE Conference on Computer Vision and Pattern Recognition)

原文地址： PSPNet

代码:

    pspnet-github
    Keras
    tensorflow

效果图：

mark
Abstract

本文提出的金字塔池化模块( pyramid pooling module)能够聚合不同区域的上下文信息,从而提高获取全局信息的能力。实验表明这样的先验表示(即指代PSP这个结构)是有效的，在多个数据集上展现了优良的效果。
Introduction

场景解析(Scene Parsing)的难度与场景的标签密切相关。先大多数先进的场景解析框架大多数基于FCN，但FCN存在的几个问题：

mark

    Mismatched Relationship：上下文关系匹配对理解复杂场景很重要，例如在上图第一行，在水面上的大很可能是“boat”，而不是“car”。虽然“boat和“car”很像。FCN缺乏依据上下文推断的能力。
    Confusion Categories： 许多标签之间存在关联，可以通过标签之间的关系弥补。上图第二行，把摩天大厦的一部分识别为建筑物，这应该只是其中一个，而不是二者。这可以通过类别之间的关系弥补。
    Inconspicuous Classes：模型可能会忽略小的东西，而大的东西可能会超过FCN接收范围，从而导致不连续的预测。如上图第三行，枕头与被子材质一致，被识别成到一起了。为了提高不显眼东西的分割效果，应该注重小面积物体。

总结这些情况，许多问题出在FCN不能有效的处理场景之间的关系和全局信息。本论文提出了能够获取全局场景的深度网络PSPNet，能够融合合适的全局特征，将局部和全局信息融合到一起。并提出了一个适度监督损失的优化策略，在多个数据集上表现优异。

本文的主要贡献如下：

    提出了一个金字塔场景解析网络，能够将难解析的场景信息特征嵌入基于FCN预测框架中
    在基于深度监督损失ResNet上制定有效的优化策略
    构建了一个实用的系统，用于场景解析和语义分割，并包含了实施细节

Related Work

受到深度神经网络的驱动，场景解析和语义分割获得了极大的进展。例如FCN、ENet等工作。许多深度卷积神经网络为了扩大高层feature的感受野，常用dilated convolution(空洞卷积)、coarse-to-fine structure等方法。本文基于先前的工作，选择的baseline是带dilated network的FCN。

大多数语义分割模型的工作基于两个方面：

    一方面：具有多尺度的特征融合，高层特征具有强的语义信息，底层特征包含更多的细节。
    另一方面：基于结构预测。例如使用CRF(条件随机场)做后端细化分割结果。

为了充分的利用全局特征层次先验知识来进行不同场景理解，本文提出的PSP模块能够聚合不同区域的上下文从而达到获取全局上下文的目的。
Architecture
Pyramid Pooling Module

前面也说到了，本文的一大贡献就是PSP模块。

在一般CNN中感受野可以粗略的认为是使用上下文信息的大小，论文指出在许多网络中没有充分的获取全局信息，所以效果不好。要解决这一问题，常用的方法是：

    用全局平均池化处理。但这在某些数据集上，可能会失去空间关系并导致模糊。
    由金字塔池化产生不同层次的特征最后被平滑的连接成一个FC层做分类。这样可以去除CNN固定大小的图像分类约束，减少不同区域之间的信息损失。

论文提出了一个具有层次全局优先级，包含不同子区域之间的不同尺度的信息，称之为pyramid pooling module。

mark

该模块融合了4种不同金字塔尺度的特征，第一行红色是最粗糙的特征–全局池化生成单个bin输出，后面三行是不同尺度的池化特征。为了保证全局特征的权重，如果金字塔共有N个级别，则在每个级别后使用的卷积将对于级别通道降为原本的1/N。再通过双线性插值获得未池化前的大小，最终concat到一起。

金字塔等级的池化核大小是可以设定的，这与送到金字塔的输入有关。论文中使用的4个等级，核大小分别为。
整体架构

在PSP模块的基础上，PSPNet的整体架构如下：

mark

    基础层经过预训练的模型(ResNet101)和空洞卷积策略提取feature map,提取后的feature map是输入的1/8大小
    feature map经过Pyramid Pooling Module得到融合的带有整体信息的feature，在上采样与池化前的feature map相concat
    最后过一个卷积层得到最终输出

PSPNet本身提供了一个全局上下文的先验(即指代Pyramid Pooling Module这个结构)，后面的实验会验证这一结构的有效性。
基于ResNet的深度监督网络

论文用了一个很“玄学”的方法搞了一个基础网络层，如下图：

mark

在ResNet101的基础上做了改进，除了使用后面的softmax分类做loss，额外的在第四阶段添加了一个辅助的loss，两个loss一起传播，使用不同的权重，共同优化参数。后续的实验证明这样做有利于快速收敛。
Experiment

论文在ImageNet scene parsing challenge 2016, PASCAL VOC 2012,Cityscapes 三个数据集上做了实验。

训练细节：
项目     设置
学习率     采用“poly”策略，即，衰减动量设置为0.9 and 0.0001
迭代次数     ImageNet上设置150K,PASCAL VOC设置30K，Cityscapes设置90K
数据增强     随机翻转、尺寸在0.5到2之间缩放、角度在-10到10之间旋转、随机的高斯滤波
batchsize     batch很重要，设置batch=16(这很吃显存啊~)
训练分支网络     设置辅助loss的权重为0.4
平台     Caffe
ImageNet scene parsing challenge 2016

    测试不同配置下的ResNet的性能,找到比较好的预训练模型：
    mark

    ResNet50-Baseline: 基于FCN的ResNet50结构，带空洞卷积的baseline
    ResNet50+B1+MAX：只带的平均池化，池化后做通道降维

可以看到做平均池化的都比最大池化效果要好，最后将多个操作结合得到最终最好的效果。

测试辅助loss的影响：
mark

实验都是以ResNet50-Baseline为基准，最后以为最佳。

测试预训练模型的深度：
mark

mark
可以看到在测试的{50,101,152,269}这四个层次的网络中，网络越深，效果越好。

多种技巧融合
mark
带有DA即数据增强，AL即带辅助loss，PSP带金字塔池化模块，MS多尺度。

在IamgeNet上的表现：
mark
PASCAL VOC 2012

mark

可以看到在MS-COCO上预训练过的效果最好。
Cityscapes

mark

在Cityscapes上表现也是很不错的。
Conclusion

论文在结构上提供了一个pyramid pooling module，在不同层次上融合feature,达到语义和细节的融合。 模型的性能表现很大，但感觉主要归功于一个良好的特征提取层。在实验部分讲了很多训练细节，但还是很难复现，这里值得好好推敲一下。
https://blog.csdn.net/u011974639/article/details/78985130
 

MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合（论文篇一）
qq_36130719的博客
04-12 1207
前言前言多尺度特征对于密集预测任务来说是必不可少的，包括目标检测、实例分割和语义分割。现有的SOTA方法通常先通过主干网络提取多尺度特征，然后通过轻量级模块（如 FPN）融合这些特征。近几年，CNN和Transformer在许多计算机视觉任务中取得了令人满意的成果，包括图像分类、目标检测、语义分割等任务。对于图像分类任务，CNN和transformer网络在架构设计中均遵循逐渐减小特征图的空间大小的方式，来获取最高级语义特征进行预测。
【PyTorch项目实战】语义分割：U-Net、UNet++、U2Net
shinuone的博客
02-11 8165
图像分割：对图像中属于特定类别的像素进行分类（逐像素分类）。 图像分类：识别图像中存在的内容。 目标检测：识别图像中的内容和位置（通过边界框）。 语义分割：识别图像中存在的内容以及位置（通过查找属于它的所有像素）。
PSPNet----多尺度平均池化 (MSAP) 卷积网络阅读笔记
qq_42075634的博客
04-10 4675
SAR IMAGE CHANGE DETECTION METHOD VIA A PYRAMID POOLING CONVOLUTIONAL NEURAL NETWORK，IGARSS2020 基于金字塔池卷积神经网络的SAR图像变化检测方法 摘要 ：在合成孔径雷达 (SAR) 图像变化检测中，利用受散斑影响的噪声差分图像的变化信息是非常具有挑战性的。在本文中，我们提出了一种新颖的多尺度平均池（MSAP）网络来利用噪声差异图像中的变化信息。与传统的只有一个尺度池化核的卷积网络不同，在所提出的方法中，在卷积网络
PSP-Net
郭大侠写leetcode
11-21 483
原Blog链接：https://blog.csdn.net/ruoruojiaojiao/article/details/89328247 论文链接：Pyramid Scene Parsing Network 1. 概述 场景解析的目的旨在为每一个像素分配一个类别标签。可以同时预测到标签，位置，以及每一个元素的形状。 目前场景解析框架多数依赖于FCN， 取得较好的效果。但由于FCN存在缺少充分利用全局场景类别线索的缺点，使场景解析仍然面临有限制：多样化的场景和不受限制的词汇。比如对于相同的形状则分辨不出类别
【UNet】关于 UNet 的学习笔记
最新发布
weixin_49179299的博客
03-06 1010
UNet 是一种卷积神经网络（CNN）架构，专为图像分割任务设计，是一个语义分割模型。UNet 是一种高效、轻量化的分割网络，特别适合需要精确像素级定位的任务。
PSPNet
Lison_Zhu's Blog
08-10 622
https://blog.csdn.net/u011974639/article/details/78985130
DeepRoute Lab | AAAI22新工作：基于稀疏跨尺度注意力网络的高效LiDAR全景分割
DeepRoute_Lab的博客
03-08 1905
今天和大家分享工作的是自动驾驶中的点级别的全景分割感知任务。内容主要是解读我们组最新的一篇被AAAI22接收的点云全景分割的工作。
PSPnet-master
03-15
PSPnet-master 复现PSPNet，根据pytorch的官方resnet进行修改。而caffe/tensorflow版本已经放出来。
基于深度学习网络PSP-NET的前列腺MR图像的分割.pdf
08-31
PSP-NET是一种以深度卷积神经网络为基础的图像分割网络，它能够通过多尺度信息的融合，有效地捕捉到全局上下文信息，这对于理解和分割复杂场景具有显著优势。不同于传统方法对人工干预的高度依赖，PSP-NET能自动学习...
5-GFF: Gated Fully Fusion for Semantic Segmentation门控融合语义分割-论文阅读笔记
weixin_43899239的博客
10-25 2002
从所有位置收集上下文信息。同样，DANet（Fu et al.2018）、CCNet（Huang et al.2018）、EMAnet（Li et al.2019）和ANN（Zhu et al.2019）使用。
PSP-Net学习笔记
Bungehurst
03-26 622
PSP-Net学习笔记 FCN的主要问题在于其缺失了合适的策略来使用全局场景类别的线索。 本文通过扩展像素级的特征到全局金字塔池化特征，使得全局和局部的信息融合。 PSP-Net的主要贡献 提出了金字塔场景解析网络 基于深度监督loss设计了一个有效的优化策略 性能达到最优 相关工作 受深度神经网络驱动，场景解析和语义分割这样的像素级预测任务取得了很大的进展。为了扩大网络...
个人学习记录：多尺度衍射U-Net:采用采样和跳过连接建模的鲁棒全光深度学习框架
Elvisfall的博客
03-23 1599
衍射深度神经网络作为一种全光学学习框架，在运行速度、数据吞吐量和能耗方面具有很大的潜力。网络的深度和层间的错位是制约其进一步发展的两个问题。本文提出了一种基于多尺度特征融合的鲁棒全光网络框架(多尺度衍射U-Net, MDUNet)。通过引入采样和跳过连接，可以显著提高网络的深度扩展和对齐鲁棒性。
语义分割之特征整合网络：psp-net
fu6543210的博客
06-13 2519
PSPnet：Pyramid Scene Parsing Network :金字塔场景解析网络现在在semantic segmentation领域对于Multi-scale Features ensembling的关注又多起来了两个发展方向特征整合（Feature Ensembling） 又分为：多尺度（multi-scale） 特征整合(来自于目标检测领域的方法spp-net)多级（multi-...
尺度自适应网络的语义图像分割
weixin_47360674的博客
06-21 2313
尺度自适应网络的语义图像分割Semantic Image Segmentation by Scale-Adaptive Networks摘要索引词一．引言二．相关工作A.尺度变化的方法B.融合方法三．可缩放的网络A.问题表述B.网络架构共享网络D.尺度自适应分支E.尺度估算器F.损失设置四． 实验内容A.PASCAL-人-部分五，结论与未来工作 Semantic Image Segmentation by Scale-Adaptive Networks Zilong Huang , Chunyu Wang
【语义分割网络系列】五、PSPNet
traveller的博客
10-23 1532
PSPNet
一文掌握语义分割PSPNet——证件照制作、抠图（算法原理、Pytorch实现）
钱彬的博客
07-22 8958
测试
语义分割之PSP-Net原理以及代码讲解
热门推荐
xuzz_498100208的博客
09-06 1万+
CVPR 2017 (IEEE Conference on Computer Vision and Pattern Recognition) 论文地址：Pyramid Scene Parsing Network github地址： PSP-Net可以说是语义分割当中比较经典的一个了，不仅有着较好的多类分割精度，同时实时性也ok（backbone在resnet18时在p100上可以跑到40ms左右，不算慢，当然现在很多优秀的语义分割算法都能做的比它好），整个网络结构相对也很简单，所以目前语义分割方.
详解深度学习中的特征图融合和特征图拼接
qq_23865133的博客
03-05 5194
在深度学习的图像分割和分类任务中，特征图融合（Feature Map Fusion）和特征图拼接（Feature Map Concatenation）是两种常用的技术，用于结合不同层次或不同阶段的特征图，以提高模型的性能和泛化能力。这两种技术虽然在目的上相似，但在实现方式上有所不同。
基于pytorch将efficientnet迁移至PSP net用于语义分割，附中文注释
05-05
好的，这是一个比较复杂的任务，需要分步骤来完成。首先需要了解EfficientNet和PSPNet的结构和原理，然后再进行迁移。 EfficientNet是一种高效的卷积神经网络，它采用了一种称为Compound Scaling的方法来同时缩放模型的深度、宽度和分辨率，从而在保持准确性的同时，显著减少了模型的计算复杂度。PSPNet则是一种用于语义分割的神经网络，它通过引入金字塔池化模块来增强模型对不同尺度的信息的理解和表示能力。 下面是将EfficientNet迁移至PSPNet的步骤： 1. 导入所需的库和模块，包括PyTorch、EfficientNet和PSPNet： ```python import torch import torch.nn as nn from efficientnet_pytorch import EfficientNet from models.pspnet import PSPNet ``` 2. 定义EfficientNet的基本结构，包括卷积层、BN层和激活函数： ```python class EfficientNetEncoder(nn.Module): def __init__(self, backbone='efficientnet-b0'): super(EfficientNetEncoder, self).__init__() self.backbone = EfficientNet.from_pretrained(backbone) self.conv1 = self.backbone._conv_stem self.bn1 = self.backbone._bn0 self.act1 = self.backbone._swish self.blocks = self.backbone._blocks self.conv2 = self.backbone._conv_head self.bn2 = self.backbone._bn1 self.act2 = self.backbone._swish ``` 3. 定义PSPNet的金字塔池化模块和解码器部分： ```python class PSPDecoder(nn.Module): def __init__(self, in_channels, out_channels): super(PSPDecoder, self).__init__() self.conv1 = nn.Conv2d(in_channels, in_channels // 4, 1) self.bn1 = nn.BatchNorm2d(in_channels // 4) self.act1 = nn.ReLU(inplace=True) self.conv2 = nn.Conv2d(in_channels // 4, out_channels, 3, padding=1) self.bn2 = nn.BatchNorm2d(out_channels) self.act2 = nn.ReLU(inplace=True) def forward(self, x): x = self.conv1(x) x = self.bn1(x) x = self.act1(x) x = self.conv2(x) x = self.bn2(x) x = self.act2(x) return x class PSPNet(nn.Module): def __init__(self, n_classes=21, sizes=(1, 2, 3, 6), psp_size=2048, deep_features_size=1024): super(PSPNet, self).__init__() self.feats = EfficientNetEncoder() self.psp = PSPModule(psp_size, sizes) self.drop_1 = nn.Dropout2d(p=0.3) self.up_1 = PSPDecoder(psp_size // len(sizes) + deep_features_size, 512) self.drop_2 = nn.Dropout2d(p=0.3) self.up_2 = PSPDecoder(512, 256) self.drop_3 = nn.Dropout2d(p=0.3) self.up_3 = PSPDecoder(256, 128) self.drop_4 = nn.Dropout2d(p=0.3) self.final = nn.Sequential( nn.Conv2d(128, n_classes, kernel_size=1), nn.LogSoftmax(dim=1) ) def forward(self, x): f = self.feats(x) p = self.psp(f) p = self.drop_1(p) p = self.up_1(torch.cat([p, f[-1]], dim=1)) p = self.drop_2(p) p = self.up_2(p) p = self.drop_3(p) p = self.up_3(p) p = self.drop_4(p) return self.final(p) ``` 4. 将EfficientNet的特征提取部分和PSPNet的解码器部分进行融合： ```python class EfficientNetPSPNet(nn.Module): def __init__(self, n_classes): super(EfficientNetPSPNet, self).__init__() self.encoder = EfficientNetEncoder() self.decoder = PSPNet(n_classes=n_classes) def forward(self, x): x = self.encoder(x) x = self.decoder(x) return x ``` 现在我们已经完成了EfficientNet到PSPNet的迁移，可以像下面这样使用它： ```python model = EfficientNetPSPNet(n_classes=21) x = torch.rand(2, 3, 512, 512) y = model(x) print(y.size()) # torch.Size([2, 21, 512, 512]) ``` 希望这个例子能够对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值