Relation Networks for Object Detection算法笔记

论文：Relation Networks for Object Detection
论文链接：https://arxiv.org/abs/1711.11575
代码链接：https://github.com/msracver/Relation-Networks-for-Object-Detection

这篇是CVPR2018的oral文章，通过引入object relation module来刻画object之间的关系，借助这样的attention来提升object detection的效果。

这篇文章的出发点在于目前大部分的目标检测（object detection）算法都是独立地检测图像中的object，但显然如果模型能学到object之间的关系显然对于检测效果提升会有帮助，因此这篇文章希望在检测过程中可以通过利用图像中object之间的相互关系或者叫图像内容（context）来优化检测效果，这种关系既包括相对位置关系也包括图像特征关系。显然，关于object的相对位置关系的利用是一个非常有意思的点，尤其是能够实现相对位置关系的attention非常不易，这也是这篇文章的吸引力。具体做法上借鉴了最近几年火热的attention机制（主要是attention is all you need这篇文章的思想）的启发，这篇文章提出一个模块（module）：object relation module来描述object之间的关系，从而以attention的形式附加到原来的特征上最后进行回归和分类，另外这篇文章的一个亮点是同时将这种attention机制引入nms操作中，不仅实现了真正意义上的end-to-end训练，而且对于原本的检测网络也有提升。值得注意的是object relation module和网络结构的耦合度非常低，同时输出的维度和输入的维度相同，因此可以非常方便地插入到其他网络结构中，而且可以叠加插入。

在这篇文章中，object relation module主要放在两个全连接层后面和NMS模块，如Figure1中的红色虚线框所示。在Figure1中，作者将目前目标检测算法分为4步：1、特征提取主网络；2、得到ROI及特征（RPN网络就包含在其中）；3、基于ROI做边框回归和object分类；4、NMS处理，去除重复框。从作者的分步情况和源码可以清晰地看出，这篇文章主要是基于Faster RCNN系列算法（Faster RCNN，FPN等）引入object relation module。