Spatial Pyramid Pooling（空间金字塔池化）-变尺度CNN训练

最新推荐文章于 2024-04-03 17:15:32 发布
最新推荐文章于 2024-04-03 17:15:32 发布
阅读量2.6w 收藏 90
点赞数 12
分类专栏： 神经网络|深度学习|matlab 图像处理 | 目标跟踪 | OpenCV 计算机视觉的数学基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenziheng1/article/details/82504615/
版权

1. 需求创造好的产品，产品拓宽原始的需求

当前的深度神经网络一般都需要固定的输入图像尺寸（如224*224）. 这种需求很明显是人为的，潜在性的弊端会降低识别精度（为了使图像尺寸相同，一定会涉及到图像的比例/非比例放缩，这就引入了尺度误差和形变误差）。何凯明师兄的这项工作主要是讲多分辨率搜索的思想融入到了现有的深度网络中，从而实现了多尺度网络的训练以及识别，进而提升了图像分类和目标检测的精度（核心思想在于生成固定长度Descriptor）。SPP（Spatial Pyramid Pooling，空间金字塔池化）是一种非常有效的多分辨策略，对目标形变非常鲁邦。

2. 从目标检测RCNN入手

RCNN(Region proposal with Convoluton Neural Network，RCNN)进行目标检测的思路：CNN作为特征提取器，然后进行BoundingBox回归。但是RCNN对于每一个区域候选（Region Proposed）都需要首先将图片放缩（比例/非比例）到固定的尺寸（224*224），然后为每个区域候选提取CNN特征。整个过程是存在一些性能瓶颈：

  • 速度瓶颈：重复为每个region proposal提取特征是极其费时的，Selective Search对于每幅图片产生2K左右个region proposal，也就是意味着一幅图片需要经过2K次的完整的CNN计算得到最终的结果。
  • 性能瓶颈：对于所有的region proposal防缩到固定的尺寸会导致我们不期望看到的几何形变，而且由于速度瓶颈的存在，不可能采用多尺度或者是大量的数据增强去训练模型。

这里面实际到一个核心问题：大多数基于CNN的分类检测网络为什么需要固定的Descriptor输入呢？

CNN网络可以分解为卷积网络部分以及全连接网络部分。卷积网络的参数主要是卷积核，完全能够适用任意大小的输入，并且能够产生任意大小的输出。但是全连接层网络不同，全连接层部分的参数是神经元对于所有输入的连接权重，也就是说输入尺寸不固定的话，全连接层参数的个数都不能固定。

SPPNet给出的解决方案是，既然只有全连接层需要固定的输入，那么我们在全连接层前加入一个网络层，让他对任意的输入产生固定的输出不就好了吗？一种常见的想法是对于最后一层卷积层的输出pooling一下，但是这个pooling窗口(slide window)的尺寸及步伐(stride)设置为相对值，也就是特征图相对于期望输出固定Descriptor的一个比例值，这样对于任意输入经过这层后都能得到一个固定的输出。SPPnet在这个想法上继续加入SPM的思路，SPM其实在传统的机器学习特征提取中很常用，主要思路就是对于一副图像分成若干尺度的一些块，比如一幅图像分成1份，4份，8份等。然后对于每一块提取特征然后融合在一起，这样就可以兼容多个尺度的特征（所以从本质上讲，这种创新还是源于传统的机器学习：尺度金字塔+特征融合）。SPPNet首次将这种思想应用在CNN中，对于卷积层特征我们首先对他分成不同的尺寸，然后每个尺寸提取一个固定维度的特征，最后拼接这些特征成一个固定维度。上面这个图可以看出SPPnet和RCNN的区别，首先是输入不需要放缩到指定大小。其次是增加了一个空间金字塔池化层，还有最重要的一点是每幅图片只需要提取一次特征。

SPPnet虽然解决了CNN输入任意大小图片的问题，但是还是需要重复为每个region proposal提取特征啊，能不能我们直接根据region proposal定位到他在卷积层特征的位置，然后直接对于这部分特征处理呢？答案是肯定的。

3.SPPNet的网络细节

通过可视化Conv5层特征，发现卷积特征其实保存了空间位置信息（数学推理中更容易发现这点），并且每一个卷积核负责提取不同的特征，比如C图175、55卷积核的特征，其中175负责提取窗口特征，55负责提取圆形的类似于车轮的特征。其实我们也可以通过传统的方法聚集这些特征，例如词袋模型或是空间金字塔的方法。

4.关于空间金字塔池化层SPP

空间金字塔池化层是SPPNet的核心，其主要目的是对于任意尺寸的输入产生固定大小的输出。思路是对于任意大小的feature map首先分成16、4、1个块，然后在每个块上最大池化，池化后的特征拼接得到一个固定维度的输出。以满足全连接层的需要。在研究图像分类的时候可以这么干（输入的图像为一整副图像），然而在研究目标检测和跟踪的时候，我们实际输入的应该是region proposal。

SPPNet理论上可以改进任何CNN网络，通过空间金字塔池化，使得CNN的特征不再是单一尺度的。但是SPPNet更适用于处理目标检测问题，首先是网络可以介绍任意大小的输入，也就是说能够很方便地多尺寸训练。其次是空间金字塔池化能够对于任意大小的输入产生固定的输出，这样使得一幅图片的多个region proposal提取一次特征成为可能。

SPPNet的做法是：

1. 首先通过selective search产生一系列的region proposal

2. 然后训练多尺寸识别网络用以提取区域特征，其中处理方法是每个尺寸的最短边大小在尺寸集合中：

训练的时候通过上面提到的多尺寸训练方法，也就是在每个epoch中首先训练一个尺寸产生一个model，然后加载这个model并训练第二个尺寸，直到训练完所有的尺寸。空间金字塔池化使用的尺度为：1*1，2*2，3*3，6*6，一共是50个bins。

3. 在测试时，每个region proposal选择能使其包含的像素个数最接近224*224的尺寸，提取相应特征。

由于我们的空间金字塔池化可以接受任意大小的输入，因此对于每个region proposal将其映射到feature map上，然后仅对这一块feature map进行空间金字塔池化就可以得到固定维度的特征用以训练CNN了。

4. 训练SVM，BoundingBox回归

5. 该方法的不足之处

和RCNN一样，SPP也需要训练CNN提取特征，然后训练SVM分类这些特征。需要巨大的存储空间，并且分开训练也很复杂。而且selective search的方法提取特征是在CPU上进行的，相对于GPU来说还是比较慢的。Fast RCNN以及Faster RCNN对这个两个问题进行了深入的研究，取得了不错的效果。

6. 参考文献

[1] 论文：He K, Zhang X, Ren S, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[C]. european conference on computer vision, 2014: 346-361.

[2] 文章：https://zhuanlan.zhihu.com/p/34357444

[3] 源码：http://research.microsoft.com/en-us/um/people/kahe/

沈子恒
关注
  • 12
    点赞
  • 踩
  • 90
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
05-21
Existing deep convolutional neural networks (CNNs) require a fixed-size (e.g., 224224) input image. This requirement is “artificial” and may reduce the recognition accuracy for the images or sub-images of an arbitrary size/scale. In this work, we equip the networks with another pooling strategy, “spatial pyramid pooling”, to eliminate the above requirement. The new network structure, called SPP-net, can generate a fixed-length representation regardless of image size/scale. Pyramid pooling is also robust to object deformations. With these advantages, SPP-net should in general improve all CNN-based image classification methods. On the ImageNet 2012 dataset, we demonstrate that SPP-net boosts the accuracy of a variety of CNN architectures despite their different designs. On the Pascal VOC 2007 and Caltech101 datasets, SPP-net achieves state-of-theart classification results using a single full-image representation and no fine-tuning. The power of SPP-net is also significant in object detection. Using SPP-net, we compute the feature maps from the entire image only once, and then pool features in arbitrary regions (sub-images) to generate fixed-length representations for training the detectors. This method avoids repeatedly computing the convolutional features. In processing test images, our method is 24-102 faster than the R-CNN method, while achieving better or comparable accuracy on Pascal VOC 2007. In ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2014, our methods rank #2 in object detection and #3 in image classification among all 38 teams. This manuscript also introduces the improvement made for this competition
Spatial Pyramid Pooling
qq_45033722的博客
02-06 2573
1. 摘要 现有的深度卷积神经网络(CNNs)需要一个固定大小的（例如，224×224）的输入图像。这个要求是“人工的”，可能会降低对任意大小/尺度的图像或子图像的识别精度。在这项工作中，我们为网络配备了另一种池化策略，即“空间金字塔池化”，以消除上述需求。新的网络结构，称为SPP-net，可以生成一个固定长度的表示，而不管图像的大小/规模。金字塔池对对象变形也具有鲁棒性。有了这些优点，SPP-net一般应该改进所有基于cnn的图像分类方法。 2. 介绍 我们正在目睹我们的视觉社区的一个快速、革命性的变化，
空间金字塔池化SPP（Spatial Pyramid Pooling）
g11d111的博客
06-24 1万+
前言 何凯明大神于2014年在《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》，这篇paper主要的创新点在于提出了空间金字塔池化。这个方法对于目前很多任务非常实用，尤其是现在的神经网络算法叠加的情况下（即前一个神经网络输出的结果是下一个神经网络的输入），很多输出的图片尺寸或者说b...
计算机视觉——图像金字塔理解与代码示例
最新发布
知来者逆的博客
04-03 1465
有时为了在图像中检测一个物体（例如人脸、汽车或其他类似的物体），需要调整图像的大小或对图像进行子采样，并进行进一步的分析。然后对第二组的第一层图像进行σ的高斯平滑处理，得到第二组的第二层，类似于步骤2。在同一组内，它们的尺寸相同，但在不同组之间，第二组的图像尺寸是第一组图像尺寸的一半。在同一组内，不同层图像的尺寸相同，后一层图像的平滑系数是前一层图像平滑系数的k倍。
SPP(Spatial Pyramid Pooling)详解
weixin_34242509的博客
05-23 1631
一直对Fast RCNN中ROI Pooling层不解，不同大小的窗口输入怎么样才能得到同样大小的窗口输出呢，今天看到一篇博文讲得挺好的，摘录一下，方便查找。 Introduction 在一般的CNN结构中，在卷积层后面通常连接着全连接。而全连接层的特征数是固定的，所以在网络输入的时候，会固定输入的大小(fixed-size)。但在现实中，我们的输入的图像尺寸总是不能满足输入时要求的大小。然而...
空间金字塔池化改进 SPP / SPPF / SimSPPF / ASPP / RFB / SPPCSPC / SPPFCSPC / SPPELAN
热门推荐
YOLOv8项目贡献者
08-15 10万+
汇总一些SPP结构
Spatial Pyramid Pooling Net 介绍
09-22
本文档主要介绍了SPP-Net一文中的网络架构和主要思想。
空间金字塔池化Spatial Pyramid Pooling
null的专栏
11-15 901
针对不同大小的输入图像，在传统CNN网络中，需要首先将图像通过裁剪或者拉伸等变换转换到固定大小，通过分析，不同尺寸的输入主要是对全连接层有影响，SPP-Net中，在全连接层之前引入Spatial Pyramid Pooling Layer，可以将任意大小的输入转换成固定大小的输出。
深度学习笔记（一）空间金字塔池化阅读笔记Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
HAHA的专栏
01-31 3万+
空间金字塔池化      空间金字塔池化层简介：                   在对图片进行卷积操作的时候，卷积核的大小是不会发生变化的额，反向调节的权重仅仅是数值会发生变化。但是，但是，但是，输入的图片的大小你是否可以控制呢？哈哈，我们的输入图片大小是会发生变化的，这里图片大小的变化并不会在卷积操作和polling操作产生影响，但是会对全连接层的链接产生影响。这篇文章的核心就是解决如何
空间金字塔池化（Spatial Pyramid Pooling，SPP）
学无止境、积少成多、厚积薄发
08-06 4407
一、为什么需要SPP 卷积神经网络（CNN）是由卷积层和全连接层组成，其中卷积层对于输入数据的大小并没有要求，唯一对数据大小有要求的则是第一个全连接层，因此基本上所有的CNN都要求输入数据固定大小，例如著名的VGG模型则要求输入数据大小是（224*224） 固定输入数据大小有两个问题： 很多场景所得到数据并不是固定大小的，例如街景文字基本上其宽高比是不固定的，如下图所示红色框出的文字。 可能你会说可以对图片进行切割，但是切割的话很可能会丢失重要信息。 综上，SPP的提出就是为了解决CNN输入图像大小必
空间金字塔池化
03-19
Deeplab Semantic image segmentation with deep convolutional nets, atrous convolution 空间金字塔池化的文章
Pyramid Stereo Matching Network
03-28
To tackle this problem, we propose PSMNet, a pyramid stereo matching network consisting of two main modules: spatial pyramid pooling and 3D CNN. The spatial pyramid pooling module takes advantage of ...
空间金字塔池化 spatial pyramid pooling（spp）
mn08290125的博客
10-09 703
空间金字塔池化（spatial pyramid pooling）是把经过CNN（提特征）之后形成的任意不同尺寸的feature map转变成相同大小的特征向量，然后送入全连接网络fc中 整体过程：Image -->cnn（进行提特征）–>spp -->fc ...
深度学习-空间金字塔池化(Spatial Pyramid Pooling SPP)
Tc、zyh的博客
10-23 5372
文章目录1、介绍2、SPP显著特点3、什么是金字塔池化层 参考：https://blog.csdn.net/qqliuzihan/article/details/81217766 1、介绍 在一般的CNN结构中，在卷积层后面通常连接着全连接。而全连接层的特征数是固定的，所以在网络输入的时候，会固定输入的大小(fixed-size)。但在现实中，我们的输入的图像尺寸总是不能满足输入时要求的大小。然而通常的手法就是裁剪(crop)和拉伸(warp)。 这样做总是不好的：图像的纵横比(ratio aspect)
空间金字塔池化(Spatial Pyramid Pooling, SPP)
qqliuzihan的博客
07-26 2万+
Introduction 主要参考这两篇博客: https://blog.csdn.net/yzf0011/article/details/75212513 https://blog.csdn.net/u011534057/article/details/512...
Spatial pyramid pooling (SPP)-net （空间金字塔池化）笔记
XZZPPP的博客
05-11 1万+
1、简介 空间金字塔池化，使得任意大小的特征图都能够转换成固定大小的特征向量，这就是空间金字塔池化的意义（多尺度特征提取出固定大小的特征向量），送入全连接层。整体框架大致为：输入图像，卷积层提取特征，空间金字塔池化提取固定大小特征，全连接层。 具体的流程图如下：   2、具体算法的大体流程     首先通过选择性搜索（selective search），对待检测的图片进行搜索出2000个
讲解 Spatial Pyramid Pooling
qq_43703185的博客
07-13 832
原文链接：https://zhuanlan.zhihu.com/p/34788333?utm_source=ZHShareTargetIDMore SPP背景传统CNN所需要的固定维度输入这一限制,是造成任意尺度的图片识别准确率低的原因.传统的CNN需要先对训练图片进行处理,使其维度相同.具体有两种做法,裁剪(cropping)和扭曲(warping).如下图.缺点是:裁剪了的区域可能并不包含整个物体,而扭曲则会带入几何方面的失真.另外,即使是裁剪和扭曲,我们仍然是认为规定了一个输入尺度,而真实的物体尺度很

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值