动机
选取region proposal的算法在CPU上比较消耗时间。Selective search算法速度大约是一张图片两秒,Edgeboxes算法大约是一张图片0.2秒
贡献
提出region proposal network,能够替代selective search算法和edgeboxes算法,直接在GPU上进行region proposal的选取和过滤,并且几乎不需要太多计算开销
算法
Faster RCNN由两个部分组成,一个是region proposal network,另一个是Fast R-CNN detector
Region proposal network
RPN主要用于ROI的过滤和选择。RPN和Fast R-CNN共享了最前面的多个卷积层(ZF结构是前5层,VGG16结构是前13层),能在一定程度上加速检测并减小计算量和模型大小。使用一个nxn的卷积核对最后一个共享卷积层的输出feature map进行卷积,得到输入图像每个grid的低维度特征(ZF结构是256通道,VGG结构是512通道)。再将低维度特征图分别输入到两个分支的1x1卷积层,一个分支用于每个grid的bbox的回归预测,另一个分支用于每个grid的bbox分类有无目标的预测。