3.1 Region Proposal NetWorks
rpn网络获取任意大小的图像作为输入,输出一系列矩形目标建议框,每个建议框都附带目标得分(这儿的目标得分只是判断建议框属于object还是background)。通过一个FCN来处理这个过程。rpn网络与之后的Fast R-CNN共享了一部分卷积层,在文章实验中,ZF-Net使用了5层共享卷积层,VGG-16使用了13层共享卷积层。
为了产生区域建议框,文章在最后一层共享的卷积层上的输出特征图上滑动了一个小网络。这个网络选取输入的卷积特征图中nxn大小的窗口作为输入。每一个滑动窗口映射到一个低维特征上(对于ZF-Net是256维,对于VGG-16是512维)。这个特征被送进两个子FC layers,——一个box regression layer和一个box-classification layer。文章使用3X3大小的窗口,但是在输入图像上的有效感知野是大的(对ZF-Net是171 pixels,对VGG-16是228 pixels)。