Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

摘要
领先的目标检测网络 依靠 区域生成算法。SPP Net， Fast R-CNN已经减少了检测网络的运行时间，区域生成算法成为了计算瓶颈。这篇文章中，作者引入了Region Proposal Network，与检测网络共享卷积层。RPN网络被end-to-end训练，可以生成高质量的 region proposal，这些region proposal被Fast R-CNN用于检测。

Region Proposal Networks
RPN取一个图像作为输入，输出 矩形目标区域的集合，每个区域有一个目标分数值。作者用一个全卷积网络建模这个过程。因为最终的目标是与Fast R-CNN共享计算，所以RPN与Fast R-CNN共享卷积层。

在生成region proposals的时候，用一个小的网络扫描特征图（最后一个共享卷积层输出的特征图）。每个扫描窗被映射到一个低维特征向量（256D or 512D）。这个低维特征向量被输入到一个姊妹层：bounding box 分类层（输出region proposal分数），一个bounding box 回归层。

在每个扫描窗位置，输出k个region proposals的预测，2k个分数（目标/目标），文章中k = 9。

对于一个尺度为w*h的特征图，region proposal的总数为k*w*h.

region proposal和object detection共享卷积层
若单独训练RPN和Fast R-CNN，对应的网络参数将是不同的。因此，需要设计一个算法 让RPN网络和Fast R-CNN网络可以共享卷积层。本文采用了4步训练方法。
step 1：使用预训练网络训练RPN。
step 2：利用step 1的RPN网络生成训练样本。然后，训练Fast R-CNN
step 3：将step 2中网络的卷积层参数固定下来，训练RPN
step 4：利用step 3的RPN网络生成训练样本。保持step 3中的网络卷积层参数固定，训练Fast R-CNN。

Evaluation results

end