spp net

以ssp 代替pool的网络架构

ssp 参数计算公式：
不同的input size，spp layer参数不同，产生相同的输出，使用的pooling 参数不同（window size 、stride）

feature mapping计算公式：
原始图像某一个像素点（x，y）映射到feature map的计算公式：
x/strides(到此feature map前，所有经过的stride乘积)

分析ssp layer：
在深度网络中，引入空间金字塔池化来代替普通的池化层，对特征进行了进一步的汇聚，无论对何种input image，计算合适的金字塔的window size（feature map size/ number of block 上取样）和stride（feature map size/ number of block 下取样），都可得到固定维度的特征以输入到全连接层。

空间池化层改善了：
测试图像不必crop，full image可避免图像因crop而导致的信息丢失或是wrap导致物体变形
在训练网络时，输入图像大小无需固定，网络在识别object可实现与尺度无关
在不加参数的同时，进一步从细粒度到粗粒度汇聚了特征。（空间金字塔）

classification任务

作者分别采取以下对比试验：
1、有/无SPP-net
2、single-size 和 multi-size训练，虽然spp-net可使得输入图像大小任意，但gpu高效实现基于固定尺寸。作者采用一个epoch训练时，固定使用一个尺度。对于输入尺度为224 image（crop得来）先训练，在下一个epoch，将相同的224crop image resize为180.（在此之前的方法，想实现尺度无关，将test image resize到多个尺度，10-view-crop获取平均得分）
3、测试使用10-crop -view/resize后的 full image
4、单一尺度测试+10crop-view/多尺度测试+10crop-view，多尺度测试，针对某一个scale，计算一个feature map，直接利用input image和feature map间的映射关系，获取10个crop的特征表示，各个尺度crop的内容不同，crop size相同，与单尺度测试crop相比，多尺度crop image更多。

object detection任务
流程：
在原始图像上产生2k个proposal
多尺度测试，resize 多个尺度，分别计算各个尺度上的feature map，利用mapping ，求出proposal在feature map的位置，选择大小接近224的scale。
feature 输入到ssp layer得到固定的特征表示，输入到fc层，得到最终的特征表示
输入最终的特征，训练SVM
利用pool5 训练回归器

为什么ssp-net仅需要计算一次特征？
test image无需crop，所有的proposal 都将对应到feature map里；然而r-cnn要求输入固定大小图像，当采用crop操作，部分proposal将被移除，对检测率产生影响。

使用针对classification任务已经训练好的网络
微调spp-net ：detection任务，正样本是proposal与 label 的iou大于0.5，负样本为proposal与 label 的iou大于0.5。（深度网络需要大量数据）
训练SVM：正样本仅为label，负样本为proposal与 label 的iou大于0.3。（不需要大量数据，仅与特定任务相关）

训练回归器改善检测率？

实验对比：
1、测试单尺度和多尺度对比（test image resize为多个尺度，选择在各个尺度下proposal大小为224的尺度对应的scale进行测试，因为pre-training时，input size为224，假定单一尺度训练，故proposal接近225效果好）
2、是否fine-tuning SSP-net（仅调整全连接层fc6,7，替换1000-way 为21-way）
3、使用fc6，fc7，pool5训练SVM效果

实验结果表明，在测试时，由于不需要对2k个proposal进行卷积操作，检测速度大大提升，同时利用多尺度测试可获得与r-CNN可比较的结果。

参考链接：

https://www.cnblogs.com/xiaoboge/p/10567869.html
https://blog.csdn.net/v1_vivian/article/details/73275259?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task