目标检测--Fast RCNN详解-多细节

Girshick, Ross. “Fast r-cnn.” Proceedings of the IEEE International Conference on Computer Vision. 2015.

继2014年的RCNN之后，Ross Girshick在15年推出Fast RCNN，构思精巧，流程更为紧凑，大幅提升了目标检测的速度。在Github上提供了源码。

同样使用最大规模的网络，Fast RCNN和RCNN相比，训练时间从84小时减少为9.5小时，测试时间从47秒减少为0.32秒。在PASCAL VOC 2007上的准确率相差无几，约在66%-67%之间.

 

1.思想

1.1基础：RCNN

简单来说，RCNN使用以下四步实现目标检测： 
a. 在图像中确定约1000-2000个候选框 
b. 对于每个候选框内图像块，使用深度网络提取特征 
c. 对候选框中提取出的特征，使用分类器判别是否属于一个特定类 
d. 对于属于某一特征的候选框，用回归器进一步调整其位置 

    更多细节可以参看这篇博客。

RCNN中存在的问题：

1. R-CNN网络训练、测试速度都很慢：R-CNN网络中，一张图经由selective search算法提取约2k个建议框【这2k个建议框大量重叠】，而所有建议框变形后都要输入AlexNet CNN网络提取特征【即约2k次特征提取】，会出现上述重叠区域多次重复提取特征，提取特征操作冗余；

2. R-CNN网络训练、测试繁琐：R-CNN网络训练过程分为ILSVRC 2012样本下有监督预训练、PASCAL VOC 2007该特定样本下的微调、20类即20个SVM分类器训练、20类即20个Bounding-box 回归器训练，该训练流程繁琐复杂；同理测试过程也包括提取建议框、提取CNN特征、SVM分类和Bounding-box 回归等步骤，过于繁琐；

3. R-CNN网络训练需要大量存储空间：20类即20个SVM分类器和20类即20个Bounding-box 回归器在训练过程中需要大量特征作为训练样本，这部分从CNN提取的特征会占用大量存储空间；

4. R-CNN网络需要对建议框进行形变操作后【形变为227×227 size】再输入CNN网络提取特征，其实像AlexNet CNN等网络在提取特征过程中对图像的大小并无要求，只是在提取完特征进行全连接操作的时候才需要固定特征尺寸【R-CNN中将输入图像形变为227×227可正好满足AlexNet CNN网络最后的特征尺寸要求】，然后才使用SVM分类器分类，R-CNN需要进行形变操作的问题在Fast R-CNN已经不存在，具体见下。

1.2改进：Fast RCNN

Fast RCNN方法解决了RCNN方法三个问题：

问题一：测试时速度慢 
RCNN一张图像内候选框之间大量重叠，提取特征操作冗余。 
本文将整张图像归一化后直接送入深度网络。在邻接时，才加入候选框信息，在末尾的少数几层处理每个候选框。

问题二：训练时速度慢 
原因同上。 
在训练时，本文先将一张图像送入网络，紧接着送入从这幅图像上提取出的候选区域。这些候选区域的前几层特征不需要再重复计算。

问题三：训练所需空间大 
RCNN中独立的分类器和回归器需要大量特征作为训练样本。 

本文把类别判断和位置精调统一用深度网络实现，不再需要额外存储。

Fast-RCNN的优点概述：
1. 比R-CNN、SPP-net有更高的检测质量（mAP）；
2. 把多个任务的损失函数写到一起，实现单级的训练过程；

3. 在训练时可更新所有的层；

4. 不需要在磁盘中存储特征。 

 

Fast RCNN 的改进可以用下面两幅图概括。其中，左图是原 RCNN 的做法，而右图则是 Fast RCNN 的做法。

 

有个很形象直观的对比图： R-CNN和SPP-net

FastRCNN改进之后：