Faster RCNN

9人阅读 评论(0) 收藏 举报
分类:

论文原文: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

Faster RCNN的最大贡献是去掉了Selective Search来进行Region Proposal的生成,转而使用RPN(Region Proposal Network)来生成区域候选框。

Faster RCNN的整个流程

这里写图片描述
其中,Region Proposal Network用来生成一系列的候选建议框。该层有两部分,第一部分是一个共享的卷积层,第二部分是用来打分的。分成两个支路,其中一路用来做二分类,表示该框是前景还是背景。另外一个之路用来进行bounding box的回归操作。

训练的时候,每次从RPN网络中的一个像素点对应到原图像中的一个框,如果该框的IoU>0.7,则标记为1,表示是物体。如果IoU<0.3,则标记为0,表示该区域是一个背景。如果介于0.3~0.7之间,则舍弃掉。如果是背景,则回归损失为0。如果是前景,则回归损失为smoothL1损失。最后训练的时候,是直接将RPN的损失和Object detector的损失直接相加即可。

1. RPN

这里写图片描述
RPN的具体过程为:
1). 在最后一个Conv层得到的feature map后面,使用一个3×3的卷积层,得到一个H×W×N的特征向量。如果最后的feature map的维度是256维,则最后经过一层卷积之后得到的仍然是1个256维的feature map。每个feature map最后会得到H×W256维的特征。每个256维的特征最后进行一个分叉,一个进入到分类器产生2k个分数输出,文中K=9,表示取3个不同的大小,3个不同的长宽比。即每一个像素点最后会输出18个分类的分数和36个回归的分数。最后文中还限制了fg和bg的个数,保证总数不超过256个,前景不超过128个。当前景不足128个的时候,用背景补充。
2). 取标签的2种方式

  • IoU大于0.7为物体,IoU小于0.3为背景,0.3~0.7不管
  • 如果一个ground truth没有被任何的anchor box取到,这时就在所有的anchor box当中,取与该ground truth的IoU最大的anchor box为前景。此操作是为了防止某些极端情况下有的ground truth一个都没有被取到的情况。

3). 以上面的过程不断进行训练之后,在测试阶段,先通过feature map不断地在原图上取bounding box。这样的话,就会得到H×W×9个bounding box。然后先利用RPN,对所有的bounding box得到他们是否是object的分数。从大到小排列后,运用非最大抑制(NMX),每张图片得到分数最大的300个框,然后将这些框送到分类器去进行分类。

2. Faster RCNN的训练和测试

Faster RCNN由两部分组成,一部分是Fast RCNN,另一部分是RPN。RPN的训练过程是没有用到非最大抑制的。但是在送到到Fast RCNN的那一部分进行训练的时候,并不是一个feature map取9个框的。而是将所有的框选出来之后,运用非最大抑制的方法,先挑选出300个框。然后将这300个框送入到Fast RCNN的那一部分进行训练。测试的时候,使用的也是一样的流程。即先通过RPN选出一些候选框,然后将这些候选框送到分类网络去进行具体分类。而且这中间,RPN和Fast RCNN是一起进行训练的。

查看评论

Tensorflow-物体检测-Faster-Rcnn解读

课程首先讲解物体检测的初期算法,对比不同效果与设计思想从而引入faster-rcnn三代算法。在学习阶段我们选择了tensorflow版本进行解读,在代码层面tensorflow版完全是caffe版本的复现,大家只需选择自己需要学习的框架对应的代码即可,逐行进行debug操作,再配合上论文,这样才能更好的学习faster-rcnn算法的思想与实现方法。 终身讲师卡更优惠,持续更新,一劳永逸
  • 2018年01月28日 20:37

干货,RCNN/FASTER RCNN/FAST RCNN/MASK RCNN

基于深度学习的目标检测技术演进:R-CNN、spp、Fast R-CNN、Faster R-CNNobject detection我的理解,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。...
  • weili_
  • weili_
  • 2018-04-17 20:21:40
  • 27

faster rcnn经典文献

  • 2017年09月10日 11:47
  • 2.26MB
  • 下载

目标检测——从RCNN到Faster RCNN 串烧

本人小硕一枚,方向是深度学习的目标检测,故想把从RCNN到Faster RCNN整个线串一下,理清里面的整个设计流程和创新思路,也算是对大神的创新思维进行学习。我会不定期改善博客里面可能存在的小错误,...
  • xyy19920105
  • xyy19920105
  • 2016-03-07 11:20:40
  • 13939

faster-rcnn原理介绍

本博客大部分参考http://blog.csdn.net/zy1034092330/article/details/62044941,其中夹杂着自己看论文的理解效果图作者提到目标检测,就不得不RBG大...
  • Lin_xiaoyi
  • Lin_xiaoyi
  • 2017-10-12 14:53:24
  • 2185

Faster RCNN 运行步骤

Caffe 框架环境搭建============Ubuntu14.04 + GPU + CUDA + cuDNN + OpenCVCUDA (compute Unified Device Archit...
  • it_lxg123
  • it_lxg123
  • 2017-10-10 11:28:17
  • 846

faster rcnn 源码解读

faster rcnn 源码解读faster rcnn同fast rcnn相比,就是将ss(候选框提取)的算法融合到了网络总,这样可以在网络中共享卷积层,计算效率更高。这里讲解了faster rcnn...
  • bailufeiyan
  • bailufeiyan
  • 2016-02-26 14:46:10
  • 14645

Faster RCNN学习笔记

Faster R-CNN学习笔记 一、资源介绍        Faster R-CNN是对Fast R-CNN的改进,paper可以参考点击打开链接。        Fast R-CNN和R-CNN在...
  • zhangjunbob
  • zhangjunbob
  • 2016-09-22 14:01:29
  • 2492

RCNN学习笔记(5):faster rcnn

reference link: http://blog.csdn.net/shenxiaolu1984/article/details/51152614 http://blog.csdn.net/xy...
  • u011534057
  • u011534057
  • 2016-04-26 02:19:05
  • 28511

RCNN, fast RCNN, faster RCNN, mask RCNN

R-CNN系列方法对比 可以看出rCNN, fast rcnn, faster rcnn是一个逐步deep learning化的过程。 MASK RCNN,就是在faster rcnn的基础上添加...
  • junmuzi
  • junmuzi
  • 2017-04-27 17:39:24
  • 750
    个人资料
    持之以恒
    等级:
    访问量: 3万+
    积分: 1041
    排名: 4万+
    最新评论