Fast-RCNN笔记

Fast-RCNN
继2014年的RCNN之后，作者借鉴了SPP-Net的设计思想，在15年推出了Fast RCNN。

卷积只要做1次获得特征图，将ss算法生成的2000个候选区域映射到特征图上
再做ROI pooling(类似金字塔池化），变成相同维度的数据，再用得到的数据训练回归器和分类器

1. 结合SPPNet改进RCNN，提出了ROI Pooling层(可以理解为单层SPPNet)
2. 多任务网络同时解决分类和位置回归(也就是不再使用SVM分类器和线性回归模型了)
3. 也使用了共享卷积特征的策略来去掉重复计算
4. 为Faster RCNN的提出打下基础，提供了可能

ROI Pooling(Region of Interest Pooling)

roi pooling层其实是SPP-Net中金字塔池化层的一种简单化的形式，roi pooling层只使用一种固定输出大小的max-pooling。
将每个候选区域均匀分成MxN块(比如3x3块)，对每块进行max-pooling。将特征图上大小不一的候选区域转变为大小统一的数据，送入下一层。

pooling层的一种
完成的操作是将proposal抠出来：通过相对的坐标来扣取特征图上所对应的候选区域的位置，然后将扣取出的特征图resize到统一的大小(采用特定的Pooling操作来完成)。具体操作如下：

1、根据输入的image，将Roi映射到feature map对应的位置。因为我们通常输入的候选目标真值的区域是相对于原始的图像而言。而ROI Pooling是作用在卷积之后的特征图上面的，因此我们需要计算一个相对坐标来得到Roi区域 对应的特征图上的位置。
2、然后我们将所得到的位置扣选出来，将映射后的区域划分为相同大小的sections（sections数量和输出的维度相同）
3、对每个section进行max pooling操作来得到1个最终固定尺度的输出
ROI Pooling 作用在不同大小的候选区域上 能够得到1个固定的输出，那这个固定的输出就可以用于后续的FC层，来完成接下来的网络的位置的回归和类别的判断

原来RCNN通过卷积提取特征后，需要用特征分别单独训练1个回归器和1个分类器

Fast-RCNN把bbox regression放进了神经网络内部，与region分类和并成为了一个multi-task模型，ROI pooling之后通过1个全连接层，全连接层之后同步进行分类和回归。实际实验也证明，这两个任务能够共享卷积特征，并相互促进。这个结构的优化极大提升了模型的训练和预测速度，也为后来的Faster-RCNN做下了铺垫。

包括了1个共享的卷积层，采用了1个ROI Pooling层来得到FC层的固定输入
FC层输出的结果用来Bounding Box的回归和候选区域物体类别的判定
不过在候选区域提取的过程，依然采用了选择性搜索(SS算法)的策略，导致网络的过程不是一个完整的端到端过程

Fast RNN网络性能提升

Fast RNN网络缺点：

存在瓶颈：选择性搜索(SS算法)，找出所有的候选框十分耗时