Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

最新推荐文章于 2024-03-05 16:48:31 发布

the time of owner

最新推荐文章于 2024-03-05 16:48:31 发布

阅读量2.1k

点赞数

分类专栏：计算机视觉文章标签：深度学习神经网络

本文链接：https://blog.csdn.net/u013114420/article/details/114105530

版权

Faster R-CNN是一种目标检测网络，通过区域提议网络（RPN）几乎无开销地生成region proposal。RPN是一个全卷积网络，可以同时预测边界框和得分，与Fast R-CNN共享特征，提高效率。通过端到端训练，RPN在保持检测精度的同时实现了快速检测，适用于非常深的VGG-16模型。在PASCAL VOC和COCO数据集上表现出高精度，且运行速度快。

摘要由CSDN通过智能技术生成

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks论文笔记

摘要

Detection with Region Proposal Networks论文笔记)

摘要

最新的目标检测网络是根据region proposal 算法来假定对象位置的。SPPnet 和Fast R-CNN 进一步减少了这些检测网络的运行时间，然而暴露出region proposal的计算是一个瓶颈，在这项工作中，我们引入了一个区域提议网络（RPN），该区域提议网络与检测网络共享全图像卷积特征，从而实现几乎无开销的region proposal。 RPN是一个全卷积的网络，可以同时预测每个位置的对象边界和对象得分。对RPN进行了端到端的训练，以生成高质量的region proposal，Fast R-CNN将其用于检测。通过共享RPN和Fast R-CNN的卷积特征，我们将RPN和Fast R-CNN进一步合并为一个网络-使用最近流行的带有“注意力”机制的神经网络术语，RPN组件告诉统一网络在哪里查看。对于非常深的VGG-16模型[3]，我们的检测系统在GPU上的帧速率为5fps（包括所有步骤），同时在PASCAL VOC 2007、2012和2007上达到了最新的物体检测精度。 MS COCO数据集，每个图像仅包含300个建议。在ILSVRC和COCO 2015竞赛中，Faster R-CNN和RPN是在多个赛道中获得第一名的作品的基础。代码已公开发布。

1 前言

region proposal方法（例如[4]）和基于区域的卷积神经网络（RCNN）[5]的成功推动了目标检测的最新进展。尽管在最初[5]开发中基于区域的CNN（R-CNN）在计算代价上很昂贵，，但得益于通过proposals共享卷积，因此其成本已大大降低。最近，Fast R-CNN [2]在不考虑region proposal花费的时间时，通过使用非常深的网络[3]，实现了接近实时的速度。现在，proposals是最先进的检测系统中的测试时间计算瓶颈。

region proposal的生成主要依赖于较简单的特征和推理方法。选择性搜索[4]是最流行的方法之一，它根据工程化的底层特征贪婪地合并超像素。然而，与高效的检测网络相比[2]，选择性搜索的速度要慢一个数量级，在CPU实施中每张图片2秒。 EdgeBoxes [6]当前提供建议质量和速度之间的最佳权衡，每张图像0.2秒。尽管如此，region proposal这一步骤仍然消耗与检测网络一样多的运行时间。

或许有人注意到，Faster R-CNN充分利用了GPU的优势，而研究中使用的region proposal方法则是在CPU上实现的，因此这种运行时比较是不公平的。加速proposals计算的一种明显方法是在GPU重新实现。这可能是一种有效的工程解决方案，但是重新实现会忽略下游检测网络，因此会错过共享计算的重要机会。

在本文中，我们证明了算法的变化（使用深度卷积神经网络来计算proposals）会带来一种优雅而有效的解决方案，与检测网络的计算代价相比，proposals的计算几乎是免费的。为此，我们介绍了新颖的区域提议网络（RPN），该区域提议网络与最新的目标检测网络共享卷积层[1]，[2]。通过在test-time时共享卷积，计算proposals的边际成本很小（例如，每张图片10毫秒）。

我们的观察是，基于区域的检测器（如Fast RCNN）使用的卷积特征图也可用于生成region proposals。在这些卷积特征之上，我们通过添加一些其他卷积层来构造RPN，这些卷积层同时回归规则网格上每个位置的区域边界和客观性得分。因此，RPN是一种全卷积网络（FCN）[7]，可以专门针对生成检测建议的任务进行端到端训练。

RPN旨在以各种比例和纵横比有效预测region proposals。与使用图像金字塔（图1，a）或滤波器金字塔（图1，b）的流行方法[8]，[9]，[1]，[2]相比，我们引入了新颖的“锚定”框作为多种比例和纵横比的参考。我们的方案可以看作是回归参考的金字塔（图1，c），它避免了枚举具有多个比例或纵横比的图像或过滤器。使用单比例尺图像进行训练和测试时，该模型表现良好，从而提高了运行速度。
Figure 1: Different schemes for addressing multiple scales and sizes. (a) Pyramids of images and feature mapsare built, and the classifier is run at all scales. (b) Pyramids of filters with multiple scales/sizes are run onthe feature map. (c) We use pyramids of reference boxes in the regression functions.