Relation Networks for Object Detection算法笔记

最新推荐文章于 2024-08-13 08:50:53 发布

AI之路

最新推荐文章于 2024-08-13 08:50:53 发布

阅读量1.8w

点赞数 31

分类专栏：深度学习计算机视觉目标检测-object detection

本文链接：https://blog.csdn.net/u014380165/article/details/80779432

版权

这篇博客深入探讨了CVPR2018 oral论文《Relation Networks for Object Detection》，该论文提出了一种object relation module，利用attention机制捕捉对象间的关系，以提升目标检测的准确性。通过在Faster R-CNN等网络中插入此模块，实现端到端训练，并在NMS操作中应用，有效利用了对象的相对位置和特征关系。实验表明，这种方法能显著提高检测性能，且模块设计灵活，易于集成到其他网络结构。

摘要由CSDN通过智能技术生成

论文：Relation Networks for Object Detection
论文链接：https://arxiv.org/abs/1711.11575
代码链接：https://github.com/msracver/Relation-Networks-for-Object-Detection

这篇是CVPR2018的oral文章，通过引入object relation module来刻画object之间的关系，借助这样的attention来提升object detection的效果。

这篇文章的出发点在于目前大部分的目标检测（object detection）算法都是独立地检测图像中的object，但显然如果模型能学到object之间的关系显然对于检测效果提升会有帮助，因此这篇文章希望在检测过程中可以通过利用图像中object之间的相互关系或者叫图像内容（context）来优化检测效果，这种关系既包括相对位置关系也包括图像特征关系。显然，关于object的相对位置关系的利用是一个非常有意思的点，尤其是能够实现相对位置关系的attention非常不易，这也是这篇文章的吸引力。具体做法上借鉴了最近几年火热的attention机制（主要是attention is all you need这篇文章的思想）的启发，这篇文章提出一个模块（module）：object relation module来描述object之间的关系，从而以attention的形式附加到原来的特征上最后进行回归和分类，另外这篇文章的一个亮点是同时将这种attention机制引入nms操作中，不仅实现了真正意义上的end-to-end训练，而且对于原本的检测网络也有提升。值得注意的是object relation module和网络结构的耦合度非常低，同时输出的维度和输入的维度相同，因此可以非常方便地插入到其他网络结构中，而且可以叠加插入。

在这篇文章中，object relation module主要放在两个全连接层后面和NMS模块，如Figure1中的红色虚线框所示。在Figure1中，作者将目前目标检测算法分为4步：1、特征提取主网络；2、得到ROI及特征（RPN网络就包含在其中）；3、基于ROI做边框回归和object分类；4、NMS处理，去除重复框。从作者的分步情况和源码可以清晰地看出，这篇文章主要是基于Faster RCNN系列算法（Faster RCNN，FPN等）引入object relation module。