目标检测 - Faster R-CNN 中 RPN 原理

Faster R-CNN 中 RPN 原理

1.RPN 原理

RPN 的用途在于, 判断需要处理的图片区域(where), 以降低推断时的计算量.

RPN 快速有效的扫描图片中每一个位置, 以判断给定区域是否需要进一步处理. 其产生 k 个 bounding-box proposals, 每一个 box proposal 有两个分数, 分别表示该 box 中是 object 的概率.

anchor 用于寻找 boxes proposals.

anchor boxes 是参考 boxes, 所选择的 anchors 具有不同的长宽比(aspect ratios) 和尺度(scale), 以囊括不同类型的 objects.

细长的 objects, 如 buses, 则不能用方形square bounding box 来合适的表示.

Faster R-CNN 采用了 k=9 个 anchors, 分别为 3 aspect ratios 和 3 scales.

RPN 的每个 regressor 只计算与对应参考 anchor box 的 4 个偏移值 (w, h, x, y).

RPN 采用 $3 \times 3$ 的滑窗, 其有效的接受野实际上是 $177 \times 177$. 因此, RPN 在生成 proposals 时用到了大量的内容信息.

RPN 主要可以包括三步:

1. 输入图片经卷积网络(如 VGGNet 和 ResNet)处理后, 会输出最后一个卷积层的 feature maps；
   

2. 在 feature maps 上进行滑窗操作(sliding window). 滑窗尺寸为 $n \times n$, 如 3