目标检测（3）Fast R-CNN

申明：本系列目标检测大部分内容转自以下链接，博主做了稍微修改，若侵犯权利，请联系删除，谢谢！

1）cs231n学习笔记-CNN-目标检测、定位、分割

2）基于深度学习的目标检测研究进展

-----------------------------------------------------------------------------------------------------------------

Fast R-CNN（ICCV 2015）

Fast R-CNN是针对SPP-Net存在的两个问题提出来的。框架图如下：

1. Fast R-CNN与R-CNN的区别

1.1 ROI pooling

1）如上图所示，Fast R-CNN 在R-CNN的最后一个卷积层后面加了一个ROI pooling层；

2）ROI pooling layer实际上是SPP-NET的一个精简版，SPP-NET对每个proposal使用了不同大小的金字塔映射，而ROI pooling layer只需要下采样到一个7x7的特征图。对于VGG16网络conv5_3有512个特征图，这样所有region proposal对应了一个7*7*512维度的特征向量作为全连接层的输入。

1.2 使用softmax代替SVM

1）损失函数使用了多任务损失函数（multi-task loss），将边框回归直接加入到CNN网络中训练。

2）R-CNN训练过程分为了三个阶段，而Fast R-CNN直接使用softmax替代SVM分类，同时利用多任务损失函数边框回归也加入到了网络中，这样整个的训练过程是端到端的(除去region proposal提取阶段)。

3） Fast R-CNN在网络微调的过程中，将部分卷积层也进行了微调，取得了更好的检测效果。

4）性能对比：

2. Fast R-CNN的优点

1）Fast R-CNN融合了R-CNN和SPP-Net的精髓；

2）Fast R-CNN引入了多任务损失函数，使整个网络的训练和测试变得十分方便；

3）在Pascal VOC2007训练集上训练，在VOC2007测试的结果为66.9%(mAP)，如果使用VOC2007+2012训练集训练，在VOC2007上测试结果为70%（数据集的扩充能大幅提高目标检测性能）。使用VGG16每张图像总共需要3s左右。

3. Fast R-CNN的缺点

1）Region Proposal的提取使用selective search，目标检测时间大多消耗在这上面（提Region Proposal2~3s，而提特征分类只需0.32s），无法满足实时应用；

2）没有实现真正意义上的端到端训练测试（region proposal使用selective search先提取处来）。

那么有没有可能直接使用CNN直接产生Region Proposal并对其分类？Faster R-CNN框架就是符合这样需要的目标检测框架。