SPP-net

针对卷积神经网络重复运算问题，2015年微软研究院的何恺明等提出一种SPP-Net算法，通过在卷积层和全连接层之间加入空间金字塔池化结构（Spatial Pyramid Pooling）代替R-CNN算法在输入卷积神经网络前对各个候选区域进行剪裁、缩放操作使其图像子块尺寸一致的做法。利用空间金字塔池化结构有效避免了R-CNN算法对图像区域剪裁、缩放操作导致的图像物体剪裁不全以及形状扭曲等问题，更重要的是解决了卷积神经网络对图像重复特征提取的问题，大大提高了产生候选框的速度，且节省了计算成本。但是和R-CNN算法一样训练数据的图像尺寸大小不一致，导致候选框的ROI感受野大，不能利用BP高效更新权重。 
 

算法流程 

• 输入一张图片
• 直接对图片进行CNN处理，得到feature maps
• 采用selective search在feature maps上寻找候选区域
• 对每个候选区域进行空间金字塔池化（spatial pyramid pooling），提取出固定长度的特征向量
• 与R-CNN一样，最后将特征向量送入SVM中进行分类识别 

创新点

• 采用空间金字塔结构，得到长度一致的特征向量，避免了resize处理
• 对整张图片只进行一次特征提取，加快运算速度 

空间金字塔池化结构

 

 

空间金字塔池化SSP就是对一个候选区域划分成一系列不同大小的区域，如上图中4*4,  2*2,  1*1，然后对每一小格采用max pooling，所以不管输入的候选区域的大小，输出的特征向量长度总是(16+4+1=21)*256（256是指第5 卷积层channels为256个）