Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 文章总结

                                SPP-Net 总结

  Rcnn在目标检测方面取得了开创性的效果，但它也存在一些缺陷，如下：
1、计算时间特别长，重复计算太多。
2、需要分别训练，即需要训练网络参数，训练SVM分类器，同时还要训练bounding box regression，且三者是独立进行的，那么理想情况下，能不能将三者结合到一个网络中进行学习呢？
解决方案：
针对以上问题一，SPP-Net很好的解决了重复计算的问题，进行了很大程度上的加速，同时能够保证准确率。
针对以上两个问题，Fast Rcnn和Faster Rcnn很好地进行了解决，这两篇文章都是在两方面进行改进，即缩短训练和测试时间，同时将以上的三个步骤整合到一个网络中进行训练，这样能够很好地进行解决。
本次内容只着重总结一下SPP-Net的内容，对于Fast Rcnn 和Faster Rcnn后边会进行总结。
对应的论文是：http://arxiv.org/pdf/1406.4729v2.pdf
对应的slide：http://research.microsoft.com/en-us/um/people/kahe/eccv14sppnet/sppnet_ilsvrc2014.pdf

*****************************************************************************
动机：
1、Rcnn 训练时间较长，且使用Selective search 进行提取不同size的矩形框，会存在很多的重复计算问题。
2、提取得到的不同size的矩形框还需要通过crop或者warp的方法把size统一到224*224，那么问题来了，crop会使得物体可能会被截断，而warp物体就会被拉伸，就会产生形变。具体效果参见下图：

针对以上问题，文章提出了一种开创性的方法，如下：
作者注意到，如果我们不把size统一到224*224会怎样呢？如果我们输入整幅图像，能够能进行处理呢？而且作者注意到，其实在卷基层，对size的大小并没有什么要求，而对size有一定要求的其实是全连接层，那么我们能不能在卷积层对整幅图像进行卷积，卷积完成之后，我们通过一定的策略将所得到的特征转化为特定长度的特征，以此来输入到全连接层进行处理，这样既能减少重复计算，即大大介绍了卷积的时间，在这种情况下，作者想到了 Spatial Pyramid Pooling(SPP),SPP可以做到不管输入图像的尺寸是多大，都能够正确地产生特定长度的特征，从而可以输入到全连接中，那么该问题就得到了很好的解决。
那么与Rcnn相比较，SPP-Net不同可以通过下图理解：

总体来说，SPP-Net的效果图如下：

文章中介绍了利用SPP-Net来解决两种问题：1、图像分类； 2、目标检测

针对第一个问题：图像分类

文章在四种网络结构上进行改进：ZF-5; Convnet*-5; Overfeat-5/7; 
针对不同的网络，作者采用了不同的策略，具体策略有点繁琐此处就不做过多解释，仔细阅读原文。
几个概念：
Multi-level pooling: 指的是SPP layer，可以采用{4*4，3*3，2*2，1*1}来获取不同尺度的特征，则会产生（16+9+4+1）*256维的特征。
Multi-size Trainging: 文中提出策略是将图像最小的边按照长宽比不变的原则resize到256,然后在卷积之后的feature map上截取size 为224*224大小和size为180*180的patch,之后进行迭代训练，即利用size为224的patch进行一次训练，然后利用size为180的大小的图像patch进行训练，一次交替进行，文中进行试验表明，这种交替训练可以提高分类准确率。(注：文中进行测试时，只使用了size为224大小的patch)
10 views:指的是patch的截取和翻转，即在图像的中心处，以及图像的四个角都截取指定大小的patch，然后再通过翻转就可以获得10个patch，故称为10 views.
multiple scales:文章中还考虑了输入图像的多尺度问题，即将输入图像resize到最小边的边长为{224,256,300，360,448,560}进行实验，实验表明这种方法也可以提高准确率。
最后作者通过大量对比实验，来说明自己方法的优越性，总之一句话，SPP-Net可以提高各种网络在图像分类中的速度和准确率。如下，

针对第二个问题：目标检测

目标检测的流程图：


主要思想跟图像分类问题类似，最大的不同是在feature maps提取检测框，然后最检测框中的提取图像金字塔特征，然后输入到全连接层，获取每个框的特征，最后通过训练SVM分类器，同时根据Rcnn的方法来训练bounding box regression。
与Rcnn的区别可以通过下图直观地表达出来：


文章中的一个局限是：不管是分类问题还是检测问题，只对全连接层进行了fine-tuning，即卷积层的参数估计下来之后，不会通过误差反传进行更新。
实验表明，SPP-net获得的准确率跟Rcnn类似，但速度更快。同时文中还尝试了多尺度输入进行检测，取得了一定的提升，在VOC2007数据集上的测试对比效果如下：