Faster R-CNN理解、讨论

Faster R-CNN是Shaoqing Ren在2016年提出的目标检测框架,解决了R-CNN和Fast R-CNN的速度问题。它整合了特征提取、区域提案网络、边界框回归和分类,实现End-to-End训练。通过区域提案网络(RPN)生成候选区域,RoI Pooling层提取目标特征,再进行分类和精确定位。Faster R-CNN的关键创新是RPN,它使用预先训练的VGG模型计算特征图,通过9个不同比例的锚点生成候选框,并通过回归修正,提高了检测速度。
摘要由CSDN通过智能技术生成

论文 : Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. PAMI2017.

GitHub :

    1. matlab version : https://github.com/ShaoqingRen/faster_rcnn

    2. python version : https://github.com/rbgirshick/py-faster-rcnn

    3. 补充程序Detectron : https://github.com/facebookresearch/Detectron (Detectron is Facebook AI Research's software system that implements state-of-the-art object detection algorithms, including Mask R-CNN. It is written in Python and powered by the Caffe2 deep learning framework.)

1. 前言

在Faster R-CNN出现之前,已经存在了R-CNN(无法实现End-to-End训练)和Fast R-CNN(Selective Search耗时),Shaoqing Ren在2016年NIP上提出了Faster R-CNN. 从上面的结构上,我们能够看出来,Faster R-CNN将特征提取proposal提取Bounding Box RegressionClassification整合到一个网络中,目标检测速度有了很大的提升。与R-CNN、Fast R-CNN相比,Faster R-CNN具体执行步骤如下:

  • 特征提取(convolutional layer)。Faster R-CNN首先使用一组基础的conv+relu+pooling层提取候选图像的特征图。该特征图被共享用于后续RPN(Region Proposal Network)层和全连接(fully connection)层。
  • 区域候选网络(Region Proposal Network)。RPN网络用于生成区域候选图像块。该层通过softmax判断锚点(anchors)属于前景(foreground)或者背景(background),再利用边界框回归(bounding box regression)修正anchors获得精确的proposals
  • 目标区池化(Roi Pooling)。该层收集输入的特征图候选的目标区域,综合这些信息后提取目标区域的特征图,送入后续全连接层判定目标类别。
  • 目标分类(Classification)。利用目标区域特征图计算目标区域的类别,同时再次边界框回归获得检测框最终的精确位置。

由此,我们也能看出,Faster R-CNN最大的亮点在于提出了一种有效定位目标区域的方法,然后按区域在特征图上进行特征索引,大大降低了卷积计算的时间消耗,所以速度上有了非常大的提升。

以如上GitHub中Python的项目为例,可以更加直接分析Faster R-CNN的设计思想。

  1. 对于任意PxQ的图像,首先裁剪到固定大小MxN。然后,利用VGG16全卷积模型计算该图像对应的特征图。
  2. 特征图的一个分支输入RPN网络用于计算Region Proposal。RPN网络首先经过3x3卷积,再分别生成前景锚点(foreground anchors)边界框回归(bounding box regression)偏移量ÿ
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值