Faster RCNN原理分析 ：Region Proposal Networks详解

最新推荐文章于 2024-07-12 11:25:47 发布
最新推荐文章于 2024-07-12 11:25:47 发布
阅读量1.4w 收藏 34
点赞数 10
分类专栏： 图像基本处理 图像分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YZXnuaa/article/details/79221189
版权
本文详细探讨了Faster RCNN中的关键组件，包括anchors的生成、foreground与background的softmax判定、bounding box regression的原理以及Proposal Layer的工作流程。通过分析ZF model的conv5层，解释了如何进行多通道图像卷积，以及在RPN中如何处理不同大小的anchors，最终筛选出高质量的proposals。
摘要由CSDN通过智能技术生成
缩进Region Proposal Networks是Faster RCNN出新提出来的proposal生成网络。其替代了之前RCNN和Fast RCNN中的selective search方法，将所有内容整合在一个网络中，大大提高了检测速度（语文水平差，所以历史科普请看其他文章T_T）。
缩进在正文前，还要多解释几句基础知识，已经懂的看官老爷跳过就好。
  1. 对于单通道图像+单卷积核做卷积，上一篇文章已经介绍了（参考上文图4）；
  2. 对于多通道图像+多卷积核做卷积，计算方式如下：

图1 多通道+多卷积核做卷积示意图（摘自Theano教程）
缩进如图2，输入图像layer m-1有4个通道，同时有2个卷积核w1和w2。对于卷积核w1，先在输入图像4个通道分别作卷积，再将4个通道结果加起来得到w1的卷积输出；卷积核w2类似。所以对于某个卷积层， 无论输入图像有多少个通道，输出图像通道数总是等于卷积核数量！特殊的，对于多通道做1x1卷积，其实就是将输入图像于每个通道乘以卷积系数后加在一起。这样做的结果就是把原图像中本来各个独立的通道“联通”在了一起。

（一）anchors

缩进提到RPN网络，就不能不说anchors。所谓anchors，实际上就是一组由rpn/generate_anchors.py生成的矩形。直接运行generate_anchors.py得到以下输出： 
[[ -84.  -40.   99.   55.]
 [-176.  -88.  191.  103.]
 [-360. -184.  375.  199.]
 [ -56.  -56.   71.   71.]
 [-120. -120.  135.  135.]
 [-248. -248.  263.  263.]
 [ -36.  -80.   51.   95.]
 [ -80. -168.   95.  183.]
 [-168. -344.  183.  359.]]
其中每行的4个值[x1,y1,x2,y2]代表矩形左上和右下角点坐标。9个矩形共有3种形状，长宽比为 大约为：width:height = [1:1, 1:2, 2:1]三种，如图2。实际上通过anchors就引入了检测中常用到的多尺度方法。

图2 anchors示意图
注：关于上面的anchors size，其实是根据检测图像设置的。在python demo中，会把任意大小的输入图像reshape成800x600（即上文中提到的M=800，N=600）。再回头来看anchors的大小，anchors中长宽1:2中最大为352x704， 长宽2:1中最大736x384， 基本是cover了800x600的各个尺度和形状。
那么这9个anchors是做什么的呢？借用Faster RCNN论文中的原图，如图3，遍历Conv layers计算获得的feature maps，为每一个点都配备这9种anchors作为初始的检测框。 这样做获得检测框很不准确，不用担心，后面还有2次bounding box regression可以修正检测框位置。

图3
解释一下上面这张图的数字。
  1. 在原文中使用的是ZF model中，其Conv Layers中最后的conv5层num_output=256，对应生成256张特征图，所以相当于feature map每个点都是256-d
  2. 由于输入图像M=800，N=600，且Conv Layers做了4次Pooling，feature map的长宽为[M/16, N/16]=[50, 38]
  3. 在conv5之后，做了rpn_conv/3x3卷积，num_output=256，相当于每个点使用了周围3x3的空间信息，同时256-d不变，如图3红框，同时对应图4中的
最低0.47元/天 解锁文章
YZXnuaa
关注
  • 10
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Region Proposal Networks （区域候选网络）详解
weixin_42108090的博客
08-20 1472
候选区域如何生成 These proposals can be generated by some heuristics search,selective search, or by a region proposal network (RPN). 那么RPN有哪些优点呢？ RPN的优点 1.服务于整体的检测网络，使整个网络统一、简单、实现端到端训练。 Faster R-CNN is a single, unified network for object detection. The RPN module
【转】Faster RCNN原理分析（二）：Region Proposal Networks详解
lanyuxuan100的博客
12-12 3305
转自：http://lib.csdn.net/article/deeplearning/61641 Region Proposal Networks是Faster RCNN出新提出来的proposal生成网络。其替代了之前RCNN和Fast RCNN中的selective search方法，将所有内容整合在一个网络中，大大提高了检测速度（语文水平差，所以历史科普请看其他文章T_T）。 缩进
Faster R-CNN核心知识讲解
最新发布
柊泓迅的博客
07-12 937
Faster R-CNN，是由 R-CNN，Fast R-CNN，一步一步优化过来的。
Faster-RCNN（Region Proposal Networks）
OpenSceneGraph的博客
10-13 559
目标检测算法分成3类： 1. 传统的目标检测算法：Cascade + HOG/DPM + Haar/SVM以及上述方法的诸多改进、优化； 2. 候选区域/框 + 深度学习分类：通过提取候选区域，并对相应区域进行以深度学习方法为主的分类的方案，如： R-CNN（Selective Search + CNN + SVM、SPP-net（ROI Pooling、Fast R-CNN（Selecti...
Region Proposal Networks 详解
qq314000558的专栏
08-26 7572
Region Proposal Networks是Faster RCNN出新提出来的proposal生成网络。其替代了之前RCNN和Fast RCNN中的selective search方法，将所有内容整合在一个网络中，大大提高了检测速度（语文水平差，所以历史科普请看其他文章T_T）。 缩进在正文前，还要多解释几句基础知识，已经懂的看官老爷跳过就好。 对于单通道图像+单卷积核做卷积，上一篇文章...
（5）Faster R-CNN：Region Proposal Network + Real-Time 我们联合！
Abandon_first的博客
06-02 286
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 2016 年 前面 R-CNN 和 SPP-Net 不是都还算 PipeLine “缝合怪”嘛，到 Fast R-CNN 把后面分类和回归任务联合了，不过 region proposal 任务仍然是单独用的 Selective Search。到 Faster R-CNN 这里，终于对 Selective Search 动手了，用 Region Prop
【DL学习笔记】【转】Faster RCNN原理分析（二）：Region Proposal Networks详解
刘培誉Sonia
10-08 175
转自：http://lib.csdn.net/article/deeplearning/61641 Region Proposal Networks是Faster RCNN出新提出来的proposal生成网络。其替代了之前RCNN和Fast RCNN中的selective search方法，将所有内容整合在一个网络中，大大提高了检测速度（语文水平差，所以历史科普请看其他文章T_T）。 缩...
faster-rcnn详解
06-08
Faster RCNN 详解 Faster RCNN 是 Ross B. Girshick 在 2016 年提出的目标检测算法，继承了 RCNN 和 Fast RCNN 的优点，并将特征提取、proposal 生成、 bounding box 回归和分类整合到一个网络中，提高了检测速度和...
fasterrcnn与YOLO：两种经典目标检测算法对比
# 1. 引言 ## 1.1 研究背景 ...经典的目标检测算法经历了从基于手工特征的方法（如HOG、SIFT）到基于深度学习的方法（如R-CNN、Faster R-CNN、YOLO等）的演进过程。近年来，基于深度学习的目标检测算法在准确
目标检测简介与faster rcnn详细讲解.pdf
07-29
深度学习方法中，目标框是指使用卷积神经网络（Convolutional Neural Network，CNN）来学习图像特征，然后使用Region Proposal Networks（RPN）来生成候选框，然后使用分类器来分类候选框。 基于深度学习的物体检测...
个人学习笔记-计算机视觉篇-Faster R-CNN中的RPN（Region Proposal Network）
01-07
关于Faster R-CNN中的RPN网络 参考文献及资料： https://blog.csdn.net/lanran2/article/details/54376126 https://blog.csdn.net/qq_35451572/article/details/80095628 https://blog.csdn.net/u014586602/article/details/92796317 http://arxiv.org/abs/1506.01497 RPN网络是一个小型的卷积网络，作用是标定出疑似识别目标的框体交由后续处理。 参考Faster R-CNN论文中的原图（图一）
Python-使用PyTorch实现SiameseRegionProposalNetwork
08-11
使用PyTorch实现Siamese Region Proposal Network
选择性搜索region proposal+CNN classification+NMS_USB-BBR优化边界框冗余问题
09-16
https://blog.csdn.net/weixin_40744915/article/details/80228611 选择性搜索region proposal+CNN classification+NMS_USB-BBR优化边界框冗余问题
Region proposal networks by faster rcnn
wejoncy的专栏
03-29 742
解析网络结构 http://blog.csdn.net/sloanqin/article/details/51545125anchor 产生 http://blog.csdn.net/xzzppp/article/details/52317863 http://blog.csdn.net/u012905422/article/details/52634208部分代码解析 http://www.c
RPN：Region Proposal Networks (区域候选网络)
zbzcDZF的博客
03-15 9413
区域建议网络（RPN）首先在faster rcnn中提出。 得到用来预测的feature map：图片在输入网络后，依次经过一系列卷积+ReLU得到的51×39×256维feature map，准备后续用来选取proposal。 生成Anchors：anchor是固定尺寸的bbox。具体作法是：把feature map每个点映射回原图的感受野的中心点当成一个基准点，然后围绕这个基准点选取k个不...
RPN - region proposal network (区域选取网络)
qq_42220290的博客
05-22 1369
转：懒人元（侵删） 注：转自其他博客，仅供学习参考。 　　RPN全称是Region Proposal Network，RegionProposal的中文意思是“区域选取”，也就是“提取候选框”的意思，所以RPN就是用来提取候选框的网络。 1. RPN的意义 　　RPN第一次出现在世人眼中是在Faster RCNN这个结构中，专门用来提取候选框，在RCNN和Fast RCNN等物体检测架构中，用来提取候选框的方法通常是Selective Search，是比较传统的方法，而且比较耗时，在CPU上要2s一..
论文阅读——Faster RCNN，Region Proposal Network为什么好用
Passerby的博客
04-29 1120
阅读前准备 Faster RCNN是为目标检测而提出的一种网络，目标检测的任务是从一张给定的图片中不仅要对图像中的物体进行分类，而且要为每个类别的物体加一个Box，也就是要确定检测到的物体的位置。Faster RCNN由Fast RCNN改进，所以简单了解RCNN和Fast RCNN。 RCNN RCNN使用selective search方法，为每张图片提出大概1k~2k个候选区域，然后将每个候...
RPN(region proposal network的理解)
weixin_42445581的博客
06-19 3251
输入：任意尺寸的图像 输出：一系列包含物体的候选框 结构： Feature map的每个像素，映射回原输入图像得到一个中心点，每个中心点设置k个不同尺寸，不同大小的anchor box。所以一共有m*n*k个anchor box。以每个Feature map的中心做核大小为3*3的卷积，核个数为256，每个位置得到一个256维的向量。这个256维的向量作为后两个分支的共...
AssertionError: FasterRCNN: ResNet:
05-04
这个错误通常是在使用 Faster R-CNN 算法时出现的，它表明 ResNet 模型的输入尺寸与 Faster R-CNN 的输入尺寸不匹配。ResNet 是一种常用的卷积神经网络模型，用于图像分类和检测任务，而 Faster R-CNN 是一种基于卷积神经网络的目标检测算法。 为了解决这个错误，你需要检查模型的输入尺寸是否与 Faster R-CNN 的要求一致。通常情况下，Faster R-CNN 要求输入的图像尺寸应该是固定的，通常是 800x800 像素。如果你的 ResNet 模型的输入尺寸与此不一致，你可以通过调整输入尺寸、修改模型结构等方式来解决这个问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值