[图解]Faster R-CNN – 原理和实现细节

最新推荐文章于 2023-04-13 17:39:08 发布
最新推荐文章于 2023-04-13 17:39:08 发布
阅读量2.2k 收藏 9
点赞数 3
分类专栏： 深度学习 文章标签： 目标检测 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MISADS/article/details/102762308
版权

论文原文

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

网络结构

Faster R-CNN 使用了注意力(attention)机制，它由两个模块组成。
　　1. RPN(region proposal network) 作用是推荐图像中的有物体区域。
　　2. Fast R-CNN 检测器 作用是检测是什么物体。

RPN

RPN网络的输入是任意大小的图像，输出是一些矩形以及这些矩形中是否有物体的得分。如下图所示。

在原文中，RPN网络为CNN后面接一个3×3的卷积层，再接两个并列的(sibling)1×1的卷积层，其中一个是用来给softmax层进行分类(2分类，有物体还是没有物体)，另一个用于给候选区域精确定位(框位置的偏移)。

Anchors

Anchors是一些预设大小的框，原文中Anchors的面积有三种 ANCHOR_AREAS = [128**2,256**2,512**2], 长宽比也有三种 ANCHOR_RATIOS = [0.5,1,2]，所以一共有9种大小的Anchors，即k=9。Anchors的大小如下图所示：

写成坐标的形式为：

[[ -84.  -40.   99.   55.]
 [-176.  -88.  191.  103.]
 [-360. -184.  375.  199.]
 [ -56.  -56.   71.   71.]
 [-120. -120.  135.  135.]
 [-248. -248.  263.  263.]
 [ -36.  -80.   51.   95.]
 [ -80. -168.   95.  183.]
 [-168. -344.  183.  359.]]

原本中Anchors的stride为16，也就是Anchor以步长16在原图中滑动。对于一张1000*600的图像，总共大约有20000个anchors(≈60×40×9)，如果忽略越过图像边界的anchor，在训练时每张图像总共有约6000个anchor。

由于标记为没有物体的anchor更多一些，所以在训练时随机取256个正样本和负样本为1:1的anchors。

如何确定一个anchor是正样本还是负样本？

一个anchor如果满足以下两个条件之一的被认为是正样本：
　　(i) 这个anchor和ground truth的方框有着最大的IoU重叠。
　　(ii) 这个anchor和ground truth的方框有超过0.7的IoU重叠。
　　

一个anchor如果满足以下条件的被认为是负样本：
　　(i) 这个anchor和ground truth的方框的IoU重叠小于0.3。
　　

既不是正样本也不是负样本的anchor在训练中不被使用。

实现细节

1.所有输入图像都被缩放成短边600像素(长边不超过1000像素)。
　　假设输入图像尺寸为354(宽)×480，会被缩放为600×814，(记为image_scale)，然后按照[batch, height, width, channel]即[1, 814, 600, 3]的尺寸输入网络。

2.对于vgg16网络，输入图像会被映射成512维的特征图。
　　由vgg网络的代码(conv5层之前)：

net = slim.repeat(self._image, 2, slim.conv2d, 64, [3, 3],
                  trainable=False, scope='conv1')
net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool1')
net = slim.repeat(net, 2, slim.conv2d, 128, [3, 3],
                  trainable=False, scope='conv2')
net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool2')
net = slim.repeat(net, 3, slim.conv2d, 256, [3, 3],
                  trainable=is_training, scope='conv3')
net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool3')
net = slim.repeat(net, 3, slim.conv2d, 512, [3, 3],
                  trainable=is_training, scope='conv4')
net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool4')
net = slim.repeat(net, 3, slim.conv2d, 512, [3, 3],
                  trainable=is_training, scope='conv5')

image_scale经过了4个池化层(卷积层由于有padding不会改变feature maps长和宽)，所以得到的feature maps的尺寸为image_scale的1/16，也就是[1, 51, 38, 512]。

3.Anchors的个数为51×38×9(已知k=9)。
　　因此rpn网络分类的输出尺寸为[1, 51, 38, 18]，其中后一半[:, :, :, 9:]表示正样本的概率，前一半[:, :, :, :9]表示负样本的概率。
　　而矩形框偏移回归的输出尺寸为[1, 51, 38, 36]，(36=9×4)，每个proposed region的4个参数是输出的矩形框(roi)相对于anchor进行平移缩放的4个系数。
　　rpn网络最终输出的矩形框位置是anchor的位置和偏移位置计算出来的，具体计算方式见参考资料。
　　由于roi网络输出的方框很多(51×38×9≈17000个)，原文中的做法是先clip_boxes，即去掉与边界交叉的方框(剩下5000个左右的anchor)，然后使用非极大值抑制(NMS)来去掉重叠的方框，最终只保留2000或300个方框(取决于训练还是测试)。
　　非极大值抑制(NMS)的原理：


　　用普通话翻译一下非极大值抑制就是：不是局部的最大值的那些值都滚蛋
　　由于score越大越接近期待值，因此将与score最大的方框IoU>0.7的都去除。

4.ROI pooling的详细过程。
　　将rpn输出的300个大小不同的方框从feature maps上对应的位置裁剪(crop)下来，然后缩放(resize)成14×14大小，这时候所有的方框可以表示为尺寸为[300, 14, 14, 512]的张量，再使用一个2×2的max_pool，得到的roi_pooling的结果尺寸为[300, 7, 7, 512]。

５.测试的详细过程。
　　测试过程中，输入的图像经过预测模型会输出[300 21]的分值以及[300 84]的方框位置。(设置网络保留300个方框，需要预测的种类为20类(pascal voc)，加上背景一类)。
　　然后设定一个得分的阈值(比如0.95)，大于该阈值的方框会被保留。如下图所示：

　　最后再使用一次NMS，对于多个重合的方框只保留一个。结果如下图所示：
调试信息
_image shape: (1, 814, 600, 3)
feature_maps shape: [  1  51  38 512]
rpn_cls_score shape: [ 1 51 38 18]  # 2k=18
rpn_bbox_pred shape: [ 1 51 38 36]  # 4k=36
rois shape: [300   5]  # [:,0]全是0
roi_pooling shape: [300   7   7 512]
cls_prob shape: [300  21]
bbox_pred shape: [300  84]
参考资料

https://github.com/endernewton/tf-faster-rcnn
https://web.cs.hacettepe.edu.tr/~aykut/classes/spring2016/bil722/slides/w05-FasterR-CNN.pdf
https://zhuanlan.zhihu.com/p/31426458

我的博客

如果这些内容对你有所帮助，可以关注我的博客哦~
http://www.xyu.ink/blog

MISADS
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Fater RCNN 试着加入注意力机制模型
m0_49534117的博客
11-12 3162
如图，也就是初始化函数中8个卷积层，forward()函数中再加3次上采样和一次Maxpool.经过fpn的输出其实和body输出一样是字典的形式，只不过多了一个"pool"FPN的八个卷积核，左边四个的输入输出，输入为in_channels_list，输出只有一个为out_channels，后面四个卷积核输入输出都为out_channels。3.将得到的baakbone作为参数传入FasterRCNN作为其中一个形参创建FasterRCNN模型。
Faster R-CNN
qq_43688965的博客
03-19 597
(研一新生读论文入门，简要记录) 论文名称：Faster R-CNN: T owards Real-Time Object Detection with Region Proposal Networks 论文地址：https://arxiv.org/abs/1506.01497 发布期刊：Neural Information Processing Systems (NIPS)machine learning 顶级会议-2015 参考：https://zhuanlan.zhihu.com/p/32404424
目标检测网络 -- FasterRCNN
bywl_zts的博客
05-08 2457
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 FasterRCNN知识点一、ROI Pooling 一、ROI Pooling roi是在原图中的感兴趣区域：可以理解为region of interest。将原图进行特征提取时得到feature map，那么相应的ROI就会在feature map上有映射，这个映射过程就是roipooling的一部分，一般ROI的步骤会继续进行max pooling，进而得到我们需要的feature map，送入后面继续计算。 ...
2020-08-14
u010830224的博客
08-15 728
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 “Faster-RCNN + Attention”提高相似小物体识别准确率 前言 一、Faster-RCNN + Attention注意力机制？ 二、网络修改步骤 1. RPN输出+候选框回归==>>物体预测框 2. 输出候选框ID如何与最终输出候选框的ID统一 3. 利用回归之后的候选框得到裁剪图片 4、输出结果 总结 前言 1、最近在做一个物体识别的项目，使用的是基础的Fast...
faster R-CNN原理
施雨清的博客
11-29 292
Faster RCNN 基本结构 一文读懂Faster RCNN： https://zhuanlan.zhihu.com/p/31426458 Faster R-CNN基本结构如下图所示 可以分为以下四部分： CNN layer 。卷积层，该层主要作用是提取出图像的特征，一般选用VGG16或resnet。 Region Proposal Network。 RPN网络主要用于生成候选区域（reg...
Faster R-CNN backbone - ResNet101.zip
07-03
Faster R-CNN是目标检测领域的里程碑式工作，由Shaoqing Ren、Kaiming He、Ross Girshick和Jian Sun在2015年提出，旨在解决R-CNN（Region-based Convolutional Neural Networks）和Fast R-CNN的效率问题。...
基于Keras实现的Faster-R-CNN安全帽检测模型源码
最新发布
03-25
项目概述：本项目是一个基于Keras框架实现的Faster R-CNN安全帽检测模型，主要用于识别图像中的安全帽穿戴情况。项目代码开源，托管于GitHub（https://github.com/DataXujing/Faster-R-CNN-Keras）。 技术细节： - ...
R-CNN、SPPNet、Fast Rcnn、Faster R-CNN 原理以及区别
01-06
R-CNN原理：   R-CNN遵循传统目标检测的思路，同样采取提取框，对每个框提取特征，图像分类，非极大值抑制等四个步骤，只不过在提取特征这一步将传统的特征换成了深度卷积网络提取的特征。  对于原始图像， 首先...
基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。--数据
06-06
基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。 Faster R-CNN 实现目标检测 tensorflow 基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。 Faster R-CNN ...
基于Pytorch搭建Faster R-CNN实现飞机目标检测-数据集
01-09
总结来说，本项目涵盖了计算机视觉和深度学习的多个关键知识点，包括Faster R-CNN算法的原理、Pytorch框架的应用、数据集处理、模型训练和测试。通过这个实践，不仅可以深入理解目标检测的流程，还能提升使用Pytorch...
[ 目标检测 ] 经典网络模型3——Faster R-CNN 详解与复现
A_John 的博客
05-09 5269
[ 目标检测 ] 经典网络模型3——Faster R-CNN 详解与复现； 1、Real-Time Object Detection with RPN； 2、Faster R-CNN 详解； 3、Faster R-CNN 复现； 目前先进的目标检测网络如 SPP-Net 和 Fast R-CNN 都采用区域建议算法假设目标位置 ； 这些网络都缩短了检测网络的运行时间，但 区域建议计算 依然是目标检测任务的 瓶颈 问题 ； 基于此，提出了一个 区域建议网络RPN，实现与检测网络 共享 输入图像的 卷积特征 ；
【YOLOv8/YOLOv7/YOLOv5/YOLOv4/Faster-rcnn系列算法改进NO.64】即插即用新的注意力机制RFAConv
m0_70388905的博客
04-13 3738
即插即用新的注意力机制RFAConv
Faster R-CNN 图解
复兴之矢
02-21 4192
作者：晓雷 链接：https://zhuanlan.zhihu.com/p/24916624 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Fast-RCNN基本实现端对端（除了proposal阶段外），下一步自然就是要把proposal阶段也用CNN实现（放到GPU上）。这就出现了Faster-RCNN，一个完全end-to-end的CNN对象检测
Faster RCNN详解（个人理解）
LLL8552的博客
08-24 2万+
这是我在学习Faster R-CNN的原理时做的学习总结，个人感觉还是比较详细的。
目标检测系列——Faster R-CNN原理详解
秃头小苏的博客
07-03 6392
  前文我已经介绍过R-CNN、Fast R-CNN的原理，具体内容可以点击下面链接阅读。【注：阅读此篇之前建议对R-CNN和Fast R-CNN有一定的了解】  Faster R-CNN算是这个目标检测系列的最后一篇了，在速度和准确率上也相对达到了比较好的效果，所以还是非常重要的。后面可能会更新语义分割Mask RCNN，当然这都是后话啦。现在就和我一起来学学Faster R-CNN吧。🍻🍻🍻 ​  不知大家是否还记得Fast R-CNN的流程？这里帮大家回忆一下，其步骤如下：​  那么Faster...
一文带你回顾经典的目标检测算法之Faster RCNN系列
莫大逗比嘟嘟
04-25 1386
一、前言 本文浅谈目标检测的概念，发展过程以及RCNN系列的发展。为了实现基于Faster-RCNN算法的目标检测，初步了解了RCNN和Fast-RCNN实现目标检测的具体步骤及其优缺点。在深刻理解Faster-RCNN的基本原理、详细分析其结构后，开始进行对Faster-RCNN的训练。其训练过程包含对RPN网络的训练得到proposals和训练Faster-RCNN。整体过程思想是类似于迭代，但不需要迭代多次。最终得到了较好的实验结果，经分析可知，Faster-RCNN算法与RCNN和Fast-RCN
深度学习目标检测——faster R-CNN 原理理解（自己绘制流程图帮助理解）
holmes_MX的博客
10-25 2994
0. 写作目的 好记性不如烂笔头。 1. 框架的理解 faster R-CNN = RPN + fast R-CNN 1.1 RPN的理解 网络的组成： （这里只是给出一个网络的整体流程，可能与faster R-CNN论文的参数不同） 注意： 上图可能与论文中的图不同，论文中的图是这样的。论文也给出了解释，理解上——对于每一个sliding window 通过3 * 3的卷积输出5...
注意力机制在CNN中使用总结
zhulewen的博客
10-18 7747
注意力机制在CNN中使用总结
CNN目标检测（一）：Faster RCNN详解
热门推荐
holy的博客
07-11 3万+
转自：http://blog.csdn.net/zy1034092330/article/details/62044941 经过RCNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCN已经将特征抽取(feature extraction)，proposal提取，bounding box reg
faster r-cnn的原理
06-01
Faster R-CNN的原理是将深度卷积神经网络（如VGG、ResNet等）和RPN（Region Proposal Network）结合起来进行目标检测。 具体来说，Faster R-CNN的主要流程如下： 1. 使用深度卷积神经网络提取图像特征； 2. 将特征图输入到RPN网络中，RPN网络会生成一些候选框（即Region of Interest，ROI），这些候选框中可能包含目标； 3. 将生成的候选框作为输入，使用RoI池化层提取特征； 4. 将特征输入到分类器（如全连接层）中进行分类和定位。 其中，RPN网络是Faster R-CNN的关键所在，它是一个用于生成候选框的子网络。RPN网络的输入是特征图，输出是一组候选框。RPN网络使用滑动窗口的方式在特征图上扫描，对于每个位置，它会生成一组候选框，并对这些候选框进行分类和回归。 此外，Faster R-CNN还使用了RoI池化层来提取候选框的特征。RoI池化层将不同大小的候选框映射到相同大小的特征图上，然后对每个映射后的区域进行池化操作，得到固定大小的特征向量。 通过将深度卷积神经网络和RPN结合起来，Faster R-CNN在目标检测任务上取得了很好的效果，并且相对于以往的方法，速度更快、准确率更高。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值