SPPnet

最新推荐文章于 2020-07-01 09:16:31 发布
最新推荐文章于 2020-07-01 09:16:31 发布
阅读量173 收藏
点赞数
分类专栏： Paper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33254870/article/details/88989863
版权

原文链接：https://arxiv.org/abs/1406.4729
自制PPT与讲解视频链接：https://github.com/DHUB721/Object-Detection （注：仅个人理解，如有错误请多多指正，轻喷，谢谢！）

1. 论文背景

目前，主流的CNN方法需要固定尺寸的输入图片，所以应用到任意尺寸的图片是，就需要对输入图片进行裁剪（Crop）或变形（Wrap），显然这种内容丢失或者变形将会降低识别准确率。（注意与缩放resize区别）
在这里插入图片描述
但是大神肯定不甘于这种限制，然后分析了一下为什么CNN需要一个固定尺寸的输入，发现卷积操作并不需要固定尺寸输入，只是全连接层需要固定尺寸，于是作者就提出了在最后一个卷积层“动手脚”的想法来消除固定尺寸的限制——SPP layer。

2.混淆术语区分

（1）Multi-level：多级别，使用不同大小与步长的filter产生不同级别的抽象特征，本论文中即3 × 3， 2 × 2， 1 × 1的bins。
（2）Multi-size：多尺寸，主要是指在SPPnet中使用不同的图片尺寸作为输入。多尺寸训练的主要目的是在借助目前优化较好的固定尺寸网络实现的同时，模拟不同的输入尺寸。
（3）Variable-size：训练阶段用的变化尺寸的输入图片。Training with variable-size images increases scale-invariance and reduces over-fitting.
（4）Single full-image：相对于multiple views来说的，we find that the combination of multiple views is substantially better than the single full-image view. （sec 3.1.4) 即将全图作为输入进行训练。
（5）Multi-view：Thanks to the flexibility of SPP, we can easily extract the features from == windows (views) == of arbitrary sizes from the convolutional feature maps. 我认为是在一张整图上进行裁剪下几个不同的区域（大小固定），那么这样训练岂不是太耗时了，这是我一个不明白的点！

3. 论文亮点

（1）对于深度网络SPP有以下显著优点：

  1. 任意输入大小都能产生固定长度的输出，而之前的滑动窗口池化是做不到这一点的。
  2. SPP使用了多级别的空间箱（multi-level spatial bins），这对识别变形照片是有利的。
  3. SPP可以池化从各种尺度抽取出来的特征。

（2）SPPnet在测试阶段对任何大小图片都能产生表示，并且在训练阶段也能接受变化大小和尺度的输入图片。使用各种尺寸的图像进行训练可以提高缩放不变性，以及减少过拟合。（Multi-size training是如何进行的？）
在这里插入图片描述
（3）对RCNN（时间）性能的提升
在这里插入图片描述重复使用神经网络是耗时的，所以作者希望一次提取完特征，然后根据映射关系提取proposals的特征。这样在时间性能上必然是有大大提升的。

4. 论文细节

（1）空间金字塔池化（SPP）是如何提取固定长度特征向量的？
传统的池化方法是采用一个filter对卷积层提取的特征进行池化，然后产生一个与卷积层feature map大小有关的池化后feature map。那么我们能不能产生一个固定大小的feature map，不受上一层卷积结果尺寸（或者说是输入图片尺寸）而影响呢？答案是肯定的。只要我们根据上一层卷积结果尺寸反推设计不同的卷积核大小与步长就可以产生固定大小的特征向量了。这就是SPP的基本思想。另外，SPP 使用了multi-level的池化特征，于是就将若干个卷积核池化提取的特征作为最终的固定长度的特征向量了。作者设计了两种类型的训练方法：Single-size与Multi-size。

在这里插入图片描述
如上，SPP使用了3个级别的特征图，其中每个级别256个filter，生成了256张feature map。注意，这里并不是使用1 × 1、2 × 2、3 × 3的窗口去卷积一张图片，而是把一张整图池化成一个1 × 1、2 × 2、3 × 3大小的feature map，至于用到的卷积核是需要反推计算的，计算公式如下;
在这里插入图片描述
这里有个疑问，1. 如果输入图片不是个正方形区域（即Full-Image）怎么反推计算呢？反推公式是不是要作改变？
在这里插入图片描述
To our knowledge, our method is the first one that trains a single network with input images of multiple sizes.

（2）SPPnet对RCNN的改进
读完RCNN一个很明显的感觉就是SS生成的region proposal太多，而且CNN重复提取proposals的特征太耗时。我们能感觉到的东西，大神必然也能洞察，并且善于去寻找解决办法，于是将SPP用到RCNN中显著提高了计算速度。基本思想：使用ss生成~2k个候选框，缩放图像min(w,h)=s之后提取特征，将原图上的proposal映射到卷积之后得到的特征图上，每个候选框使用一个4层的空间金字塔池化特征。
关于映射：
在这里插入图片描述
最后，我还有一个疑问，论文都是将输入裁剪成224 × 224，这种裁剪与传统CNN有啥区别呢？就因为他多裁了几次？

好运来2333
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【目标检测】------SPPNET
m0_47405013的博客
08-22 174
RCNN系列：RCNN，SPPNet，Fast RCNN，Faster RCNN，R-FCN。SPPNet出现的原因? 之前的网络，比如LeNet，AlexNet，ZF，VGG等，它们的输入都是固定大小的，为什么要固定大小呐？原因就在最后连接的全连接层上。全连接层的输入一定是固定大小的。这一点很容易理解，因为全连接层网络就是传统的神经网络，传统的神经网络的输入层必定是固定大小的。而卷积神经网络的conv层的输入并不需要固定大小，那么conv层不用固定大小，FC层的输入又要固定大小，那么在这两者之间加上一层S
SPP Net 空间金字塔池化(Spatial Pyramid Pooling, SPP)原理
11-03 3895
最近从头捋一下R-CNN系列的目标检测算法，在R-CNN首次将CNN与目标检测练习到一起之后，为了弥补它效率慢、不是端到端的神经网络、输入图片大小resize不准确等问题，各路神仙在后面陆续推出了SPP Net、Fast R-CNN、Faster R-CNN、R-FCN等R-CNN系列的模型。 在我将R-CNN弄清楚原理及流程之后就开始学习何凯明团队推出的SPP Net的网络模型。SPP Net的核心思想是空间金字塔池化(Spatial Pyramid Pooling, S...
经典卷积神经网络之SppNet
weixin_45586836的博客
07-01 679
        在以前的卷积神经网络中，我们通常会将输入图片缩放到固定大小，进行训练。主要的原因就是卷积神经网络中的全连接层，我们都知道卷积层是不需要固定大小的输入，给它多大的输入，它就可以产生对应的输出。但是当遇到全连接层时，如果给它不同大小的输入，那么它的权重参数的数量就会发生改变，导致无法训练。在固定输入图片时，常用的操作就是裁剪、变形，但是裁剪会导致信息的丢失，变形会导致位置信息的扭曲，从而影响到检测的精度。 &nbsp
SPPnet 详解
wait_ButterFly的博客
08-06 2074
RCNN系列：RCNN，SPPNet，Fast RCNN，Faster RCNN，R-FCN。     前不久刚刚看完rcnn和fast rcnn，对目标检测的学习更进一步。sppNet简介： 作者： 何凯明    2016年加入成为FAIR（facebook 微软研究员），2011年获得博士学位，主要兴趣和研究在计算机视觉和深度学习。 获得cpvr和iccv多个奖项。   SP...
SPPNet论文详解
alibabazhouyu的博客
04-24 2万+
<Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition > Kaiming He         当前深度卷积神经网络（CNNs）都需要输入的图像尺寸固定（比如224×224）。这种人为的需要导致面对任意尺寸和比例的图像或子图像时降低识别的精度(因为要经过crop/warp)。本文给网...
sppnet目标检测
04-02
### SPPNet (Spatial Pyramid Pooling Network)：用于目标检测的关键技术 #### 一、引言与背景 近年来，深度卷积神经网络（CNNs）在计算机视觉领域取得了革命性的进展，特别是在图像分类和目标检测任务上实现了...
SPPNet.zip
08-20
《SPPNet：基于空间金字塔池化的目标检测技术解析》 在计算机视觉领域，目标检测是至关重要的一环，它涉及到识别图像中特定对象的位置和类别。SPP-Net（Spatial Pyramid Pooling Network）是由He等人在2014年提出的...
R-CNN、SPPNet、Fast Rcnn、Faster R-CNN 原理以及区别
01-06
R-CNN原理：   R-CNN遵循传统目标检测的思路，同样采取提取框，对每个框提取特征，图像分类，非极大值抑制等四个步骤，只不过在提取特征这一步将传统的特征换成了深度卷积网络提取的特征。  对于原始图像， 首先...
目标检测——SPPNet【含全网最全翻译】
热门推荐
PRIS-SCMonkey的博客
02-27 2万+
文章目录0. 摘要1. 简介2. 基于空间金字塔池化的深度网络2.1 卷积层和特征图2.2 空间金字塔池化层2.3 网络的训练2.3.1 单一尺寸训练2.3.2 多尺寸训练3. 用于图像分类的SPP-NET3.1 ImageNet 2012分类实验3.1.1 基准网络架构3.1.2 多层次池化提升准确度3.1.3 多尺寸训练提升准确度3.1.4 全图像表示提升准确度3.1.5 特征图上的多视图测试...
3D U-Net
The Thinker
08-01 1万+
论文地址：https://link.springer.com/chapter/10.1007/978-3-319-46723-8_49 Data：https://www.med.upenn.edu/sbia/brats2017.html 项目地址：https://github.com/ellisdg/3DUnetCNN 1. 论文背景 2. 论文亮点 3. 论文细节 3.1 AAAA 3.2 BB...
3D CNN
The Thinker
08-01 1万+
由于最近一个比赛要用到3D U-Net，所以有必要先了解一下3D CNN。本文主要针对3D CNN结构与原理进行详细讲解，对于其应用背景（Human Action Recognition）不作阐述。如果你现在对卷积还存在疑问，请参考这篇博客彻底弄懂卷积的内涵再继续看下文。 论文地址：https://ieeexplore.ieee.org/abstract/document/6165309 0. 导...
Neural Architecture Search: A Survey
The Thinker
09-01 2999
论文地址：https://arxiv.org/abs/1808.05377v3 论文主要是介绍了Neural Architecture Search（NAS）近几年的发展，在介绍NAS之前我想抛出一个问题：为什么要研究AutoML（NAS可以看做AutoML的一个子领域）？ 回到论文，为什么要进行NAS呢？因为专家对网络架构的设计是一个耗时（time-consuming ）且易错（error-pr...
V-Net
The Thinker
08-07 1380
论文地址：https://ieeexplore.ieee.org/abstract/document/7785132 项目地址：https://github.com/mattmacy/vnet.pytorch 1. 论文背景 医学图像大部分是3D Volumetric（如MRI），2D slice-by-slice 的处理方法低效、冗余，又丢失了slices之间的关联性。 2. 论文亮点 （1）直...
YOLO
The Thinker
05-13 1314
论文链接：https://arxiv.org/abs/1506.02640 1. 论文背景 作者在对比很多目标检测方法后发现，目前的目标检测方法都是基于分类的，本论文提出将目标检测作为一个回归问题来考虑。作为分类问题的缺点：（1）RCNN系列方法基本都是multi-stage任务（注：Faster RCNN使用RPN替代RCNN/Fast RCNN的Selective Search模块，将RPN集...
FCN
The Thinker
05-15 812
论文地址：https://arxiv.org/abs/1703.06870 项目地址：https://github.com/shelhamer/fcn.berkeleyvision.org 自制讲解视频： 至于FCN结构的讲解网上资料已经特别多了，但是对上采样的细节基本没有介绍，本文就上采样进行详细讲解！ 0. 导语 问题：你们对于 卷积 是怎么理解的? （1）从物理意义上看，即利用一个卷积核对图...
Bounding Box Regression
The Thinker
04-01 618
这篇博客主要讲解为什么可以用线性模型去做Bounding Box Regression，在讲解之前先明确几个先决条件： （1）Bounding Box由包含四个参数的坐标组成，即 其中Gx,Gy表示Bounding Box的中心点横纵坐标，Gw,Gh分别表示Bounding Box的宽与高。 （2）回归过程涉及到三个坐标     I. ground-tr...
U-Net
The Thinker
08-01 306
论文地址：https://arxiv.org/abs/1505.04597v1 项目地址：https://github.com/zhixuhao/unet               or https://github.com/jakeret/tf_unet 1. 论文背景 深度卷积网络应用在医学任务上最大的问题...
Mask RCNN
The Thinker
06-02 254
论文地址：https://arxiv.org/abs/1703.06870 项目地址： 自制讲解视频： 由于视频中已经对论文做了详细讲解，这里不再赘述，只提出几个疑惑的点交流一下！ 1. 论文背景 2. 论文亮点 3. 论文细节 ...
DenseNet
The Thinker
04-01 205
论文连接： DesNet优点： （1） they alleviate the vanishing-gradient problem. （2） strengthen feature propagation. （3） encourage feature reuse. （4） substantially reduce the number of parameters.  读完论文多遍之后还是没体会到...
SPPNet较RCNN优点
最新发布
06-27
SPPNet (Spatial Pyramid Pooling Network) 是一种改进的卷积神经网络（CNN）结构，它相对于传统的 Region-based Convolutional Neural Networks (RCNN) 有以下几个主要优点： 1. **效率提升**：RCNN需要对每个候选区域进行独立的特征提取和分类，这导致了计算密集和速度较慢。SPPNet引入了空间金字塔池化层，可以在单次前向传播中处理不同大小的图像尺度，减少了区域提议的计算量。 2. **尺度不变性**：SPPNet通过多尺度的池化操作，能够捕获不同大小物体的特征，增强了模型对物体尺度变化的适应能力。 3. **并行处理**：由于SPPNet不需要对每个区域进行逐个处理，所以特征提取阶段可以并行化，进一步提高了整体的处理速度。 4. **更少的参数**：与RCNN相比，SPPNet的结构更为简洁，通常具有较少的额外参数，这有助于减少过拟合风险，同时保持较高的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值