【目标检测】Fast R-CNN算法

论文翻译：
https://www.cnblogs.com/wj-1314/p/13359146.html

引言：

SPP-Net的性能已经得到很大的改善，但由于网络之间训练不统一，造成很大的麻烦，Fast R-CNN就是为了解决这样的问题。

1. Fast R-CNN

改进的地方：

提出一个RoI pooling(region of interest即候选区)，然后整合整个模型，把CNN、SPP层、分类器、bbox回归几个模块一起训练。

步骤

1. 特征提取：以整张图片为输入利用CNN（例如VGG）得到图片的特征层feature map；
2. 候选区域：通过Selective Search等方法从原始图片提取区域候选框，并把这些候选框一一投影到最后的特征层；
3. 区域归一化：针对特征层上的每个区域候选框进行RoI Pooling操作，得到固定大小的特征表示；
4. 分类与回归：然后再通过两个全连接层，分别用softmax多分类做目标识别，用回归模型进行边框位置与大小微调。

Fast R-CNN比R-CNN的训练速度（大模型L）快8.8倍，测试时间快213倍，比SPP-net训练速度快2.6倍，测试速度快10倍左右。

1.1 RoI pooling
首先RoI pooling只是一个简单版本的SPP层，目的是为了减少计算时间并且得出固定长度的向量。

RoI池层使用最大池化将任何有效的RoI区域内的特征转换成具有H×W的固定空间范围的小feature map，其中H和W是超参数 它们独立于任何特定的RoI。

例如：
VGG16 的第一个 FC 层的输入是 7 x 7 x 512，其中 512 表示 feature map 的层数。在经过 pooling 操作后，其特征输出维度满足 H x W。

假设输出的结果与FC层要求大小不一致，对原本 max pooling 的单位网格进行调整，使得 pooling 的每个网格大小动态调整为 h/H,w/W, 最终得到的特征维度都是HxWxD。

它要求 Pooling 后的特征为 7 x 7 x512（即要求输入到 FC 层的特征维度是7 x 7），如果碰巧 ROI 区域只有 6 x 6 大小怎么办？每个网格的大小取 6/7=0.85 , 6/7=0.85，以长宽为例，

按照这样的间隔取网格：[0, 0.85, 1.7, 2.55, 3.4, 4.25, 5.1, 5.95]，取整后，每个网格对应的起始坐标为：[0, 1, 2, 3, 4, 5, 6]

下面是一整套RoI pooling流程图：

1. 首先经过卷积层得到的特征图：
   
2. 得到候选区：

因为每个候选区大小不固定，需要提取一个固定长度的特征向量：

这里是用4 x 4的RoI池层（相当于之前说的SPP层的一部分）：

最后进行池化：

为什么要设计单个尺度呢？这要涉及到single scale与multi scale两者的优缺点

• single scale，直接将image定为某种scale，直接输入网络来训练即可。（Fast R-CNN）
• multi scale，也就是要生成一个金字塔，然后对于object，在金字塔上找到一个大小比较接近227x227的投影版本

后者比前者更加准确些，不过没有突出很多。但是第一种时间要省很多，所以实际采用的是第一个策略，因此Fast R-CNN要比SPP-Net快很多也是因为这里的原因。

1.2 End-to-End model ( 端对端模型 )

从输入端到输出端直接用一个神经网络相连，整体优化目标函数。

接着我们来看为什么后面的整个网络能进行统一训练？
特征提取CNN的训练和SVM分类器的训练在时间上是先后顺序，两者的训练方式独立，因此SVMs的训练Loss无法更新SPP层之前的卷积层参数，去掉了SVM分类这一过程，所有特征都存储在内存中，不占用硬盘空间，形成了End-to-End模型（生成Region proposal除外，end-to-end在Faster-RCNN中得以完善）

• 使用了softmax分类
• RoI pooling能进行反向传播，SPP层不适合（具体原因还不是很懂，待深究）

2. 多任务损失 Multi-task loss
两个loss，分别是：

• 对于分类loss，是一个N+1维的softmax输出，其中的N是类别个数，1是背景，使用交叉熵损失。之所以要N+1类，是因为region proposal 会被标记为0，什么都没有，会什么类别都不是，因此最后一层神经元要 N+1 个。

• 对于回归loss，是一个4xN维输出的regressor，也就是说对于每个类别都会训练一个单独的regressor，使用平均绝对误差（MAE）损失即L1损失。这里训练的就是边框对应的4个坐标，左上角一对坐标，右下角一对坐标。

3. R-CNN、SPPNet、Fast R-CNN效果对比

其中有一项指标为mAP，这是一个对算法评估准确率的指标，mAP衡量的是学出的模型在所有类别上的好坏。

4. Fast R-CNN总结

缺点：

• 使用Selective Search提取Region Proposals，没有实现真正意义上的端对端，操作也十分耗时（Faster R-CNN会改善）

网友总结：
https://www.cnblogs.com/gujianhan/p/6035514.html

https://shartoo.github.io/2017/01/13/RCNN-series/

https://www.cnblogs.com/CZiFan/p/9903518.html

https://zhuanlan.zhihu.com/p/23203899

参考：
https://www.cnblogs.com/kongweisi/p/10900021.html