论文链接:https://arxiv.org/abs/1711.11575
代码链接:https://github.com/msracver/Relation-Networks-for-Object-Detection
源代码讲解:https://blog.csdn.net/u014380165/article/details/80779712
在介绍这篇论文之前首先介绍一下边框回归(https://blog.csdn.net/zijin0802034/article/details/77685438/)这里有个小问题在中的指的是ground truth 并不是之前解释的,这四个值是公式中的w。
这个是CVPR 2018的文章,虽然并没有什么巧妙的设计,但是思路很有趣,那就是引入了object的关联信息,在神经网络中对object的relations进行建模。
在之前使用cnn进行目标检测的方法中,都是每个对象被单独识别(rcnn ,fast rcnn faster rcnn),而这一篇对一组对象同时做了Relation Moudle 处理,即一个对象上融合了其他对象的关系特征。好处在于丰富了特征,而且在Relation Moudle 处理后唯独不会发生变化。
主要贡献点有两条:
- .提出了一种relation module,可以在以往常见的物体特征中融合进物体之间的关联性信息,同时不改变特征的维数,能很好地嵌进目前各种检测框架,提高性能
- 在1的基础上,提出了一种特别的代替NMS的去重模块,可以避免NMS需要手动设置参数的问题
1. Background
假设现在有一个显示屏幕,问这是电脑显示屏还是电视屏幕,该怎么判断?如果单纯把屏幕取出来,确实很难回答这个问题,但是如果结合周围的东西,就很好解决了……比如,放在客厅环境、旁边有茶几的是电视,而旁边有键盘和鼠标的是电脑显示屏;又或者,宽度有沙发那么大的是电视,而只比一般座椅稍大一点的是电脑屏……
总之,周边其他物体的信息很可能对某个物体的分类定位有着帮助作用,这个作用在目前的使用RoI的网络中是体现不出来的,因为在第二阶段往往就把感兴趣的区域取出来单独进行分类定位了。这篇文章作