Faster R-CNN论文笔记

“Faster R-CNN”

---

1. Background

Fast R-CNN和SPP-net的大部分时间仍浪费在候选区域推荐上（Selective Search），无法满足实时应用，没有真正实现端到端训练测试。
故而提出RPN（Region Proposal Networks）新型的区域推荐网络，其与检测网络共享卷积层，使用深度卷积神经网络计算去推荐区域。

2. Faster R-CNN Architecture

Faster R-CNN的组成：RPN + Fast R-CNN
（1）卷积特征图后通过深度卷积网络生成推荐区域，使用“注意力”机制
（2）Fast R-CNN检测器

2.1 RPN

RPN流程：
（1）假设经过CNN后的特征图大小为NHW，滑动窗口的大小为33（相当于卷积操作）
（2）经过sliding window处理得到256HW
（3）对每个特征向量做两次全连接操作，cls layer得到2个分数（前景和背景的分数），reg layer得到4个坐标（真实框相对锚框的偏移量）
（4）特征图上一个点对应原图有k个框（k=33=9），分别经过两次11的卷积，得到HW9个结果
（5）分别得到92HW的特征图和94H*W的特征图
（6）借助偏移量及相应的锚框，得到候选区域，并通过NMS（非极大值抑制）和top-N进行筛选。

2.2 Loss Function

RPN的输出为{ pi }和{ ti }

框回归：

注意：
（1）我们学习k个bounding-box regressors，每个回归器负责一个尺度和一个长宽比，k个回归器之间不共享权重，因此，由于锚点的设计，即使特征具有固定的尺度/比例，仍然可以预测各种尺寸的边界框。
（2）为每个锚点分配一个二值类别标签：正标签+负标签（IoU值判定）

2.3 Training RPN

a. 随机初始化RPN层权重，共享卷积层使用预训练模型初始化
b. 使用反向传播和随机梯度下降进行端对端训练，batch_size = 256，尽可能使正负锚点比率达到1：1

2.4 RPN + Fast R-CNN共享特征的训练

Alternating training：（4 steps）
（1）对RPN网络使用ImageNet的预训练模型进行初始化，并针对区域提议任务进行端对端的微调
（2）使用由第一步RPN生成的区域，由Fast R-CNN训练单独的检测网络。该检测网络也由ImageNet的预训练模型进行初始化，此时两个网络不共享卷积层。
（3）使用检测网络来初始化RPN训练，但固定共享的卷积层，只对RPN特有的层进行微调。现在这两个网络共享卷积层。
（4）最后，保持共享卷积层的固定，对Fast R-CNN的独有层进行微调，因此，两个网络共享相同的卷积层形成统一的网络。
类似的交替训练可以运行更多的迭代，但是改进可以忽略。

3. Performance

RPN+Faster R-CNN在提高精度的同时，极大的缩短了区域推荐花费的时间。

总结

RPN被提出用来生成高效、准确的区域提议，通过与下游检测网络共享卷积特征，区域步骤几乎是零成本的。Faster R-CNN的方法使得统一的基于深度学习的目标检测系统能够以接近实时的帧率运行。学习到的RPN也提高了区域提议的质量，从而提高了整体得目标检测精度。