论文：Relation Networks for Object Detection 阅读笔记

一、论文

(17) Relation Networks for Object Detection 

https://arxiv.org/abs/1711.11575

code : https://github.com/msracver/Relation-Networks-for-Object-Detection

二、论文笔记

1、背景

（1）、建模物体之间的关系对物体检测非常有益，但是之前的工作都是在传统物体检测的方法上建模的，在深度学习物体检测模型上面还没有人做过

2、创新点

（1）、提出了一个基于每个物体的外观特征（appearance feature fA）和几何特征（geometric feature fG）建立物体之间联系的方法，方法的大概过程和NLP 里边的transforms（attention is all you need）的自注意力模块类似

 

（2）、使用该模块的核心思想，自己建立了一个分类网络来代替NMS过程（duplicate removal network）

3、细节

（1）、这个模块的输入输入维度是相等的，因此可以迁入任何的检测模型内，把该 relation module 嵌入faster rcnn系列的最后两层全连接层内，正常的数据流是每个proposal 通过该head，但是加入ralation module 之后需要每张图片的所有的objects 一起输入以便建立物体间的联系。

---->

N代表N个proposals

4、实验

（1）、增加relation modules 与不增加的对比 

（2）、收益是否来自网络的加深或者加宽，单纯的加深网络，加宽网络，与增加relation modules 做对比

（3）、在一般的faster rcnn 后面连接NMS soft NMS 以及本文的duplicate removal network做对比，以及使用duplicate removal network时使用那些特征作为输入时的对比

 

5、思考

Nevertheless, it is not clear what is learnt in the relation module, especially when multiple ones are stacked.