目标检测（六）——Faster R-CNN

最新推荐文章于 2024-06-03 08:46:27 发布
最新推荐文章于 2024-06-03 08:46:27 发布
阅读量7.4k 收藏 20
点赞数
分类专栏： 目标检测 文章标签： 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35451572/article/details/80095628
版权

arxiv: http://arxiv.org/abs/1506.01497
github(official, Matlab): https://github.com/ShaoqingRen/faster_rcnn
github: https://github.com/rbgirshick/py-faster-rcnn
github(MXNet): https://github.com/msracver/Deformable-ConvNets/tree/master/faster_rcnn
github: https://github.com//jwyang/faster-rcnn.pytorch
github: https://github.com/mitmul/chainer-faster-rcnn

Faster R-CNN (Caffe版) 的运行可以参照 Faster RCNN安装以及Demo运行。

这里写图片描述
　　为了解决Fast R-CNN算法缺陷，使得算法实现two stage的全网络结构，2015年微软研究院的任少庆、何恺明以及Ross B Girshick等人又提出了Faster R-CNN算法。设计辅助生成样本的RPN（Region Proposal Networks）网络，将算法结构分为两个部分，先由RPN网络判断候选框是否为目标，再经分类定位的多任务损失判断目标类型，整个网络流程都能共享卷积神经网络提取的的特征信息，节约计算成本，且解决Fast R-CNN算法生成正负样本候选框速度慢的问题，同时避免候选框提取过多导致算法准确率下降。

算法流程

  1. 把整张图片送入CNN，进行特征提取；
  2. 在最后一层卷积feature map上生成region proposal（通过RPN），每张图片大约300个建议窗口；
  3. 通过RoI pooling层（其实是单层的SPP layer）使得每个建议窗口生成固定大小的feature map；
  4. 继续经过两个全连接层（FC）得到特征向量。特征向量经由各自的FC层，得到两个输出向量。第一个是分类，使用softmax，第二个是每一类的bounding box回归。利用SoftMax Loss和Smooth L1 Loss对分类概率和边框回归（Bounding Box Regression）联合训练。

创新点

  1. 采用RPN(Region Proposal Network)代替选择性搜索(Selective Search)，利用GPU进行计算大幅度缩减提取region proposal的速度。
  2. 产生建议窗口的CNN和目标检测的CNN共享。

Faster RCNN其实可以分为4个主要内容：

  1. Conv layers。作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。
  2. Region Proposal Networks。RPN网络用于生成region proposals。该层通过softmax判断anchors属于foreground或者background，再利用bounding box regression修正anchors获得精确的proposals。
  3. Roi Pooling。该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。
  4. Classification。利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。

Region Proposal Networks

　　Region Proposal Networks是Faster RCNN出新提出来的proposal生成网络。其替代了之前RCNN和Fast RCNN中的selective search方法，将所有内容整合在一个网络中，大大提高了检测速度。
这里写图片描述
RPN网络结构：
生成anchors -> softmax判定foreground与background-> bbox reg回归fg anchors -> Proposal Layer生成proposals

生成anchors
　　anchors就是一组由rpn/generate_anchors.py生成的矩形。直接运行generate_anchors.py得到以下输出：

[[ -84.  -40.   99.   55.]
 [-176.  -88.  191.  103.]
 [-360. -184.  375.  199.]
 [ -56.  -56.   71.   71.]
 [-120. -120.  135.  135.]
 [-248. -248.  263.  263.]
 [ -36.  -80.   51.   95.]
 [ -80. -168.   95.  183.]
 [-168. -344.  183.  359.]]

　　其中每行的4个值[x1,y1,x2,y2]代表矩形左上和右下角点坐标。9个矩形共有3种形状，长宽比为大约为：width:height = [1:1, 1:2, 2:1]三种。

这里写图片描述

　　实际上通过anchors就引入了检测中常用到的多尺度方法。关于上面的anchors size，其实是根据检测图像设置的。在python demo中，会把任意大小的输入图像reshape成800x600（即上文中提到的M=800，N=600）。再回头来看anchors的大小，anchors中长宽1:2中最大为352x704，长宽2:1中最大736x384，基本是cover了800x600的各个尺度和形状。这9个anchors遍历Conv layers计算获得的feature maps，为每一个点都配备这9种anchors作为初始的检测框。这样做获得检测框很不准确，不用担心，后面还有2次bounding box regression可以修正检测框位置。
这里写图片描述
　　在conv5之后，做了rpn_conv/3x3卷积，num_output=256，相当于每个点使用了周围3x3的空间信息，同时256-d不变，同时红框中的3x3卷积，假设一共有k个anchor，而每个anhcor要分foreground和background，所以cls=2k scores；而每个anchor都有[x, y, w, h]对应4个偏移量，所以reg=4k coordinates。

softmax判定foreground与background
这里写图片描述
　　通过1*1卷及以后输出为18，刚好对应了feature maps每一个点都有9个anchors，同时每个anchors又有可能是foreground和background，所有这些信息都保存WxHx(9x2)大小的矩阵。后面接softmax分类获得foreground anchors，也就相当于初步提取了检测目标候选区域box（一般认为目标在foreground anchors中）。
　　在softmax前后都接一个reshape layer为了便于softmax分类。在caffe基本数据结构blob中以如下形式保存数据：blob=[batch_size, channel，height，width]，对应至上面的保存bg/fg anchors的矩阵，其在caffe blob中的存储形式为[1, 18, H, W]。而在softmax分类时需要进行fg/bg二分类，所以reshape layer会将其变为[1, 2, 9*H, W]大小，即单独“腾空”出来一个维度以便softmax分类，之后再reshape回复原状。

bbox reg回归fg anchors

这里写图片描述

　　如上图所示绿色框为飞机的Ground Truth(GT)，红色为提取的foreground anchors，那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准，这张图相当于没有正确的检测出飞机。所以我们希望采用一种方法对红色的框进行微调，使得foreground anchors和GT更加接近。

　　对于窗口一般使用四维向量(x, y, w, h)表示，分别表示窗口的中心点坐标和宽高。对于上图，红色的框A代表原始的Foreground Anchors，绿色的框G代表目标的GT，我们的目标是寻找一种关系，使得输入原始的anchor A经过映射得到一个跟真实窗口G更接近的回归窗口G’，即：给定A=(Ax, Ay, Aw, Ah)，寻找一种映射f，使得f(Ax, Ay, Aw, Ah)=(G’x, G’y, G’w, G’h)，其中(G’x, G’y, G’w, G’h)≈(Gx, Gy, Gw, Gh)，具体细节可以查看论文。

Proposal Layer生成proposals
　　在主干网络中增加了RPN （Region Proposal Network）网络，通过一定规则设置不同尺度的锚点（Anchor）在RPN的卷积特征层提取候选框来代替Selective Search等传统的候选框生成方法，实现了网络的端到端训练。候选区域生成、候选区域特征提取、框回归和分类全过程一气呵成，在训练过程中模型各部分不仅学习如何完成自己的任务，还自主学习如何相互配合。这也是第一个真正意义上的深度学习目标检测算法。

参考

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
Faster R-CNN基于代码实现的细节
Object Detection - handong1587

泉伟
关注
专栏目录
域适应目标检测：DA Faster R-CNN论文笔记——Domain Adaptive Faster R-CNN for Object Detection in the Wild
qq_50001789的博客
06-24 1799
论文题目：《Domain Adaptive Faster R-CNN for Object Detection in the Wild》 本文提出了一种有效解决跨域目标检测问题的域适应Faster R-CNN算法，可以实现在不使用任何附加标记数据的情况下获得新领域鲁棒性的检测器。作者在对跨域目标检测理论分析的基础上，提出了一个图像级自适应组件和实例级自适应组件来缓解由域偏移引起的模型性能下降的问题
目标检测5——Faster R-CNN（RPN网络代替Selective Search来获取候选框）
qq_45792437的博客
01-13 1785
Faster R-CNN 在 Fast R-CNN 的基础上利用 RPN 网络代替 Selective Search 来获取候选框得到更快的检测速度
目标检测——Faster RCNN
fortune_cookie的博客
10-09 3606
Faster RCNN是由 R-CNN、Fast R-CNN 改进而来，是非常经典的目标检测的两阶段网络。Faster R-CNN 第一步要使用在图片分类任务 (例如，ImageNet) 上预训练好的卷积神经网络，使用该网络得到的中间层特征的输出。Conv layers 包含了 conv，pooling，relu 三种层。一个 MxN 大小的矩阵经过 Conv layers 固定变为 (M/16)x(N/16) ，这样 Conv layers 生成的 feature map 中都可以和原图对应起来。
目标检测 Faster-RCNN网络
mengxianglong123的博客
07-12 1742
在R-CNN和Fast RCNN的基础上，在2016年提出了Faster RCNN网络模型，在结构上，Faster RCNN已经将候选区域的生成，特征提取，目标分类及目标框的回归都整合在了一个网络中，综合性能有较大提高，在检测速度方面尤为明显。接下来我们给大家详细介绍fasterRCNN网络模型。网络基本结构如下图所示：Faster RCNN可以看成是区域生成网络(RPN)与Fast RCNN的组合，其中区域生成网络(RPN)替代选择性搜索来生成候选区域，Fast RCNN用来进行目标检测。FasterRC
faster rcnn流程
weixin_33834137的博客
05-08 199
1、执行流程 数据准备 train_net.py中combined_roidb函数会调用get_imdb得到datasets中factory.py生成的imdb 然后调用fast_rcnn下的train.py中get_training_roidb， 进而调用roi_data_layer下roidb.py中的prepare_roidb会为roidb添加image等信息。 数据输入 roi_d...
目标检测之 Faster R-CNN
鹊踏枝-码农的专栏
07-13 1026
论文地址：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks代码地址：ShaoqingRen/faster_rcnn不论是R-CNN还是Fast R-CNN，在提取目标候选区域（region proposal）的时候采用的是同一种方法，即selective search方法，这个方法比较耗时，...
CNN目标检测（一）：Faster RCNN详解
热门推荐
holy的博客
07-11 3万+
转自：http://blog.csdn.net/zy1034092330/article/details/62044941 经过RCNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCN已经将特征抽取(feature extraction)，proposal提取，bounding box reg
目标检测——Faster R-CNN 之 Fast R-CNN
qq_45720073的博客
08-07 926
目标检测——Faster R-CNN 之 Fast R-CNN
目标检测篇——Faster R-CNN
weixin_43872060的博客
06-04 7281
目录1. Faster R-CNN理论1.1 R-CNN(Region with CNN feature)1.1.1 R-CNN概述1.1.2 R-CNN流程1.1.3 R-CNN框架1.1.4 R-CNN存在的问题1.2 Fast R-CNN1.2.1 Fast R-CNN概述1.2.2 Fast R-CNN流程1.2.3 Fast R-CNN损失函数1.2.4 Fast RCNN框架1.2.5 Fast RCNN存在的问题1.3 Faster R-CNN1.3.1 Faster R-CNN概述1.3.2
Faster R-CNN backbone - ResNet101.zip
07-03
标题"Faster R-CNN backbone - ResNet101.zip"涉及的是计算机视觉领域的一个关键算法——Faster R-CNN（快速区域卷积神经网络），它使用ResNet101作为其基础特征提取网络。Faster R-CNN是目标检测领域的里程碑式工作...
目标检测之Faster R-CNN
阿基美德的博客
08-18 1060
Faster R-CNN 原论文：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 将目标检测实现为端到端的框架。奠定了two-stage方法的元结构。 论文架构： 引文：目标检测的卷积网络发展 相关工作（目标候选框、用于目标检测的深度网络） Faster R-CNN结构 实验验证（VOC、COCO数据集） 结论 主体思想在第三部分，以第三部分翻译+理解。 3 Faster R-CNN ​ 我们
【图像目标检测】Faster-RCNN
Shwan_ma的博客
09-13 759
有了Fast-RCNN后，Faster-RCNN表示为什么还在用selective search呢？这样会出现一种很尴尬的处境，region proposal的速度比后面检测+回归的速度要慢。所以Faster-RCNN表示做Vision的话，CNN应该要一统江湖，于是把Selective Search也集成到网络中，提出RPN。从而把速度拉升到real-time。 FasterRCNN架构：F
Faster R-CNN：端到端的目标检测网络
最新发布
新缸中之脑
06-03 1226
传统的对象检测技术遵循下图给出的 3 个主要步骤。第一步涉及生成多个区域提案。这些区域提案是可能包含对象的候选区域。这些区域的数量通常为几千个，例如 2,000 个或更多。一些生成区域提案的算法的示例是选择性搜索和 EdgeBox。从每个区域提案中，使用各种图像描述符（例如方向梯度直方图 (HOG)）提取固定长度的特征向量。该特征向量对于对象检测器的成功至关重要。即使对象由于某些变换（例如缩放或平移）而发生变化，该向量也应该充分描述对象。然后使用特征向量将每个区域提案分配给背景类或对象类之一。
目标检测（5）-Faster RCNN
爱吃鱼的猫
03-27 702
原文地址：https://zhuanlan.zhihu.com/p/27988828前段时间感觉状态比较差，给自己放了个假，加上刚回到学校事情有些多，拖了几周没更新，实在抱歉。github地址：rbgirshick/py-faster-rcnn论文地址：Towards Real-Time Object Detection with Region Proposal NetworksRCNN：目标检测...
【Keras计算机视觉】Faster R-CNN神经网络实现目标检测实战（附源码和数据集 超详细）
showswoller的博客
12-08 4586
【Keras计算机视觉】Faster R-CNN神经网络实现目标检测实战（附源码和数据集 超详细）
【目标检测算法】Faster R-CNN（详解）
风口IT猪的成长录
08-14 5952
Faster R-CNN学习目标1. Faster R-CNN2. RPN原理2.1 anchors3. Faster RCNN训练4.5.3.1 Faster R-CNN的训练3.2 候选区域的训练4. 效果对比5. Faster R-CNN总结6. 总结7. 问题？8. 开源keras Faster RCNN 模型介绍8.1 环境需求8.2 keras Faster RCNN代码结构8.3 FaterRCNN源码解析8.4 RPN 与 classifier定义8.5 data_generators.p
目标检测——Faster R-CNN算法解读
lishanlu136的博客
12-01 2438
Faster R-CNN算法解读
[ 目标检测 ] 经典网络模型3——Faster R-CNN 详解与复现
A_John 的博客
05-09 6271
[ 目标检测 ] 经典网络模型3——Faster R-CNN 详解与复现； 1、Real-Time Object Detection with RPN； 2、Faster R-CNN 详解； 3、Faster R-CNN 复现； 目前先进的目标检测网络如 SPP-Net 和 Fast R-CNN 都采用区域建议算法假设目标位置 ； 这些网络都缩短了检测网络的运行时间，但 区域建议计算 依然是目标检测任务的 瓶颈 问题 ； 基于此，提出了一个 区域建议网络RPN，实现与检测网络 共享 输入图像的 卷积特征 ；
深度学习目标检测之 R-CNN 系列：Faster R-CNN 网络详解
生命在于折腾！
03-19 1091
深度学习目标检测之 R-CNN 系列：Faster R-CNN 网络详解 深度学习目标检测之 R-CNN 系列包含 3 篇文章： 从 R-CNN 和 Fast R-CNN 到 Faster R-CNN Faster R-CNN 网络详解 用 Faster R-CNN 训练自己的数据 1. 前言 这一篇文章主要是深入的理解 Faster R-CNN 网络。并基于 caffe 利用 Faster ...
睿智的目标检测27——pytorch搭建faster r-cnn目标检测平台
01-28
目标检测是计算机视觉领域的重要任务，而Faster R-CNN作为目标检测领域的经典算法之一，具有较高的检测精度和鲁棒性。在睿智的目标检测系列中，我们将使用PyTorch搭建一个基于Faster R-CNN的目标检测平台。 首先，我们将使用PyTorch构建一个深度学习模型的基础框架。PyTorch是一个开源的机器学习库，具有灵活的设计和易于使用的特点，因此非常适合用于搭建目标检测平台。我们将利用PyTorch提供的模块和工具，构建一个包含RPN模块、ROI pooling模块和分类回归模块的Faster R-CNN模型。 其次，我们将使用标记好的目标检测数据集，如COCO或PASCAL VOC数据集，对我们搭建的目标检测平台进行训练和验证。我们将利用PyTorch内置的数据加载和预处理工具，以及优化器和损失函数，对Faster R-CNN模型进行端到端的训练，以提高检测精度和泛化能力。 最后，我们将通过在真实场景下的目标检测任务中的应用，来验证我们搭建的Faster R-CNN目标检测平台的性能。我们将评估其在目标定位、多目标检测、不同尺寸目标检测等方面的表现，并对可能的改进和优化进行进一步的研究和实验。 通过这样一个基于PyTorch搭建的Faster R-CNN目标检测平台，我们将能够深入理解目标检测算法的原理和实现细节，提高对深度学习框架的应用能力，并为未来的研究和应用奠定基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值