为什么SPP-Net无法fine-tune卷积层

SPP-Net缺陷：和R-CNN一样，它的训练要经过多个阶段，特征也要存在磁盘中，另外，SPP中的微调只更新SPP层后面的全连接层，对很深的网络这样肯定是不行的。

SPP-Net在fine-tuning阶段之所以无法使用反向传播微调SPP-Net前面的Covs层，是因为特征提取CNN的训练和SVMs分类器的训练在时间上是先后顺序，两者的训练方式独立，因此SVMs的训练Loss无法更新SPP-Layer之前的卷积层参数，因此即使采用更深的CNN网络进行特征提取，也无法保证SVMs分类器的准确率一定能够提升。

另外在Fast-RCNN中，由于去掉了SVM分类这一过程，所有特征都存储在显存中，不占用硬盘空间，形成了End-to-End模型（当然proposal除外，end-to-end在Faster-RCNN中得以完善）；Fast-RCNN还通过single scale(pooling->spp just for one scale) testing和SVD(降维)分解全连接来减少test time。

Reference：

http://www.cnblogs.com/venus024/p/5717766.html
http://blog.csdn.net/u011534057/article/details/51241831
http://blog.csdn.net/u011534057/article/details/51241831