Fater-Rcnn原理详解

 

Fast rcnn在cpu上用ss提取region proposal，将提取的region proposal用于cnn提取特征。为了将提取region proposal的部分转移到gpu进行操作，作者将cnn可以用来提取特征想法与提取region proposal结合起来，将提取的特征映射回原图提取proposal。

Faster Rcnn的整个流程图如下

一、RPN(region proposal network)

1.将输入图像进行reshape成MXN （800X600），并将reshape的信息储存到 im_info

2.将reshape后的图像输入到conv layer提取Feature Map(800/16  X600/16 = 50 X 38，下采样16次)

3.将Feature Map进行sliding window式的多通道图像卷积（filter = 3），历遍每一个点。

具体是将每一个点映射回MXN的图像中，以该点为中心预测9个anchor boxes,

anchor box128、256、512三个尺寸，以及radio为（0.5 ，1,2）

所以anchor box的最小尺寸为64 X 64，最大为1024X1024，（这两个数据可能有误）可以cover图中的各种尺度

4.将得到的anchor boxes分别输入到softmax网络和bbox regression网络进行打分

softmax网络用于判定anchor boxes中的物体是属于foreground还是background）

（18的原因是9个anchor box的尺寸，每个都有是前景与背景的两种可能）

（

foreground与background的判断

与任意GT相比，拥有最高的IOU的anchor为前景（可以低于0.7）

与任意GT相比，IOU>0.7为前景

与任意GT相比，IOU<0.3为背景

其余的非负非正，则没有用

）

bbox regression网络用于对anchor boxes进行初步微调

（36 的原因是9个anchor box的尺寸，每个都有对应的4个偏移量）

5.将softmax网络得到的fg、bg参数、bbox regression网络得到的4个偏移量、参数feat_stride=16以及im_info中的内容结合在一起得到，得到来自原图的proposals

得到的proposals太多了，要用对得到的proposal进行筛选

①生成anchors，利用对所有的anchors做bbox regression回归（这里的anchors生成和训练时完全一致）

②提取修正位置后的foreground anchors

③限定超出图像边界的foreground anchors为图像边界（防止后续roi pooling时proposal超出图像边界）

④剔除非常小（width<threshold or height<threshold）的foreground anchors

⑤进行nonmaximum suppression

⑥再次按照nms后的foreground softmax scores由大到小排序fg anchors，提取前post_nms_topN(e.g. 300)结果作为proposal输出（注意：这里的输出）

二、proposals提取后进入Fater RCNN进行训练

相当于另外一种RPN 与 Fast-Rcnn的联合训练

实际中训练过程分为6个步骤：

1. 在已经训练好的model上，训练RPN网络，对应stage1_rpn_train.pt
2. 利用步骤1中训练好的RPN网络，收集proposals，对应rpn_test.pt
3. 第一次训练Fast RCNN网络，对应stage1_fast_rcnn_train.pt
4. 第二训练RPN网络，对应stage2_rpn_train.pt
5. 再次利用步骤4中训练好的RPN网络，收集proposals，对应rpn_test.pt
6. 第二次训练Fast RCNN网络，对应stage2_fast_rcnn_train.pt

参考于：https://zhuanlan.zhihu.com/p/31426458