R-CNN网络结构详解

最新推荐文章于 2024-02-12 16:08:15 发布
最新推荐文章于 2024-02-12 16:08:15 发布
阅读量1w 收藏 93
点赞数 18
分类专栏： 人工智能 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42768004/article/details/105097944
版权

在介绍R-CNN之前，先来了解一种目标检测算法的思路。

目标检测-Overfeat模型

最初的目标检测采用的思路是滑动窗口，比较暴力的从左到右和上到下的扫描图片。

在这里插入图片描述
设定好检测框（Bounding box）的大小，扫描图片后生成子图片。这样就变成了分类的问题了。但是，图片中的物体大小是不一样的，这也意味着每个检测框的大小也不一样。所以就要提前设定M个检测窗口，每个窗口滑动提取N张图片，总共M*N张图片。
每张图片通过转换压缩变形等手段固定成大小一样的图像，然后输入CNN分类器提取特征。

●那这种方法是怎么进行数据训练的呢？
准备所需要的训练数据集，每张图片被扫描后生成的子图片和图片的位置如下图：
在这里插入图片描述
比如我们要检测的目标是车，手动标注和准备训练数据集。x为训练的数据，y为标签。是车标记为1，不是车标记为0。
●Overfeat总结
这种方法就好像暴力穷举，需要消耗大量的计算力和时间。除此之外，大小不一样的检测框也可能导致效果不准确。
但是，它提供了一种目标检测的思路。

目标检测R-CNN模型

R-CNN使用的不是上面说到的暴力扫描的方式，而是一种候选区域法（region proposal），它以深度学习神经网络为基础的物体检测模型，在性能上有很大的提升。
下面是完整的R-CNN的结构图：
在这里插入图片描述
先来列出整体的算法运行流程，具体的下面再做详细理解
算法运行流程：
●找出图片中可能存在目标的侯选区域（region proposal）
●进行图片大小调整为了适应AlexNet网络的输入图像的大小227×227，通过CNN对候选区域提取特征向量，2000个建议框的CNN特征组合成2000×4096维矩阵
●将2000×4096维特征与20个SVM组成的权值矩阵4096×20相乘(20种分类，SVM是二分类器，则有20个SVM)，获得2000×20维矩阵
●分别对2000×20维矩阵中每一列即每一类进行非极大值抑制（NMS:non-maximum suppression）剔除重叠建议框，得到该列即该类中得分最高的一些建议框
●修正Bounding box，对bbox做回归微调.

候选区域（region proposal）

这里涉及到很多区域选择算法，其中最出色的是选择性搜索（selective search）。它的工作原理是将图片中的每一个像素作为一组，然后计算每个像素的纹理，将相近的的组合起来形成更大的像素组，然后继续合并各个像素组。下图中展示了像素组是如何扩大的，蓝色矩形代表了真实图片各像素组合并中所有可能的目标对象。
在这里插入图片描述
selective search选取的检测框大小都不一样，但是进入CNN提取候选区的特征向量需要固定的格式输入。因此，就需要对候选区域做尺寸的修改。

Crop+Warp

R-CNN网络结构中的第三层，Warp region。控制候选区的大小，因为这是根据Alexnet结构为基础，即大小要求为227*227.
●Crop:截取原图片一个固定大小的碎片
●Warp:缩放图片
尽管再优秀的算法，也不可能在不失真的情况下传入到CNN中。但是会尽可能的让图片发生更小的变形。
●各向异性缩放：直接缩放到指定大小，但是会造成一定的图片失真
●各向同性缩放：在原图上裁取候选区域填充在边界。
在这里插入图片描述
上图中，第一行的图片是异性缩放的方式，第二行是同性缩放，相比之下，后者图像的变形或者说是失真没那么严重。

CNN网络提取特征

经过前面两步的候选区域提取的子图，进入卷积神经网络进行特征提取，并且将特征数据存于磁盘中
在这里插入图片描述
将提取好的特征数据存于磁盘中是为了后续步骤的使用。而这些存储的特征才是真正要进行训练的数据。
一张图片中的候选区域大约2000个，而R-CNN中的CNN输出是4096大小的特征向量。所以总的特征向量就是2000*4096.

SVM分类

R-CNN中会有20个不同类别的SVM分类对2000个候选区域的特征向量进行分类。所以就有20*2000这样的一个得分矩阵。见图：
在这里插入图片描述
每个分类器都会对2000个候选区域进行分类判断，如上图中判断是否为猫，如果是，得分矩阵中的值记为1，并且给一个分数，这个分数也可以说是该特征为猫的概率分数。如果不是则理解为是背景，记为0。

非极大值抑制NMS

这一步目的是筛选CNN网络最后预测的候选区域，因为共有2000个候选区域，检测一个目标不可能同时显示这么多候选区域。如图：
在这里插入图片描述
图中CNN最后推荐有五个候选区域，上面标注的分数就是上一步得分矩阵的分数。
NMS的方式是选取分数最大的候选区域，然后其余候选区域与它进行交并比IoU计算,也就是两个候选区域相交部分与两候选区域总面积之比。这里还会设置一个阈值，比如阈值为0.5。如果IoU>=0.5。那么分数小的候选区域会被删除。因为IoU的值越接近1，说明两候选区域越接近重合。也就是说两候选区域预测的是同一个目标，只有分数大的会被保留。

修正候选区域-regressor

经过上述步骤得出最后的一个候选区域不一定就是正确的，即使它的得分再好。
所以R-CNN的最后一步会进行微调。就是以最后一个候选区域的特征值，与目标值（grounding truth）建立回归方程计算。这里不展开讨论回归方程计算，简单的理解为候选区域参考真实标注的目标来进行偏移。以下图为例:
在这里插入图片描述
A为最后的候选区域，G为真实标注的目标区域。经过建立回归方程的计算得出G’。使最后的候选区域更接近真实目标，从而提高预测的准确率。
以上就是R-CNN的整个运作流程。那么它是怎么进行训练的呢？

R-CNN训练过程

训练过程包括：正负样本准备+预训练+微调网络+训练SVM+训练边框回归器

●正负样本准备

正样本：与真实目标进行IoU运算，值大于或等于0.5的候选区域。
负样本：负样本则是小于0.5的候选区域。
一般正负样本的比例为正样本1:3负样本。

●预训练
一般在开发中，不会用自己初始化的CNN网络模型，那样的准确率是不太高的。因为CNN的参数有很多，需要大量的数据参与训练。一般是在训练好的CNN模型基础上进行微调，例如使用Alexnet。

●微调
微调就是拿训练好的CNN模型，把刚自己准备好的样本进行尺寸变换，再继续训练，得出新的模型。类似迁移学习

●训练SVM
上述的预训练+微调只是训练好了全连接层。还要对SVM分类器进行训练，有20个SVM分类器就意味着要进行20个类别的训练。刚准备的正负样本就是用来训练分类器的。

●训练边框回归器
这是最后一步用于修改候选区域的回归器，参与这一步训练的数据很少。因为这一步是以真实目标值（grounding truth）为参考的，只有真实目标值和IoU大于一定阈值的候选区域数据才会参与训练。

R-CNN缺点总结

●训练阶段多：步骤繁琐: 微调网络+训练SVM+训练边框回归器。
●占用磁盘空间大：上面提到的特征存于磁盘中，每个图片会有2000个候选区域
●训练耗时
●处理速度慢

以上就是R-CNN的所有内容，或有遗漏，欢迎指正。
篇幅过长，感谢阅读！

END

Yi_Kong
关注
  • 18
    点赞
  • 踩
  • 93
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【深度学习】R-CNN 论文解读及个人理解
frank 的专栏
08-24 22万+
背景 本篇论文的题目是 《Rich feature hierarchies for accurate oject detection and semantic segmentation》，翻译过来就是针对高准确度的目标检测与语义分割的多特征层级，通俗地来讲就是一个用来做目标检测和语义分割的神经网络。 本文作者：Ross Girshick，JeffDonahue,TrevorDarrell,Ji...
基于改进Faster R-CNN的Logo目标检测方法
05-06
社交网络的发展和经济全球化赋予了Logo巨大的商业价值，让Logo检测有很大的应用前景.而现实情况中Logo目标在图片中往往占据很小的一部分，Logo的低分辨率导致检测性能难以进一步提升.因此本文提出了一种基于改进Faster R-CNN的Logo检测方法.该方法在Faster R-CNN框架中结合了生成对抗模型，利用网络先将分辨率较低的Logo特征映射成高分辨率的表达能力更强的特征，再送入完全连接层进行分类和回归，从而提高检测的性能.本文在公开的Logo数据集上进行了实验结果评估，结果表明了本文提出的方法能有效地提高Logo物体检测的准确率的同时也没有因为结构的变化影响检测速度.
R-Cnn 网络结构
weixin_40564352的博客
10-02 85
R-CNN(Region with CNN featrue),是深度学习目标检测的开山之作，作者是Ross Girshick，论文原名为 ：Rich feature hierarchies for accurate object detection and semantic segmentation。
R-CNN、SPPNet、Fast Rcnn、Faster R-CNN 原理以及区别
01-06
R-CNN原理：   R-CNN遵循传统目标检测的思路，同样采取提取框，对每个框提取特征，图像分类，非极大值抑制等四个步骤，只不过在提取特征这一步将传统的特征换成了深度卷积网络提取的特征。  对于原始图像， 首先使用Selective Search 搜寻可能存在物体的区域。Selective Search 可以从图像中启发式地搜索出可能包含物体的区域。相比穷举而言， Selective Search 可以减少一部分计算量。下一步，将取出的可能含高物体的区域送入CNN 中提取特征。CNN 通常是接受一个固定大小的图像，而取出的区域大小却各有不同。对此， R-CNN的做法是将区域缩放到统一大小，
【深度学习 & 目标检测】R-CNN系列算法全面概述（一文搞懂R-CNN、Fast R-CNN、Faster R-CNN的来龙去脉）
最新发布
z135733的博客
02-12 2725
RCNN在2013年在目标检测领域首次使用深度学习和卷积神经网络，他与Alex net一起引爆了21世纪第二个十年计算机视觉领域的技术爆炸。后续所有基于深度学习的目标检测——特别是两阶段目标检测算法。如Fast RCNN Faster R-CNN，都是在R-CNN上进行的迭代升级。所以弄懂RCNN特别重要。甚至可以说，没弄懂RCN后边的算法根本就看不懂。候选区域生成：利用Selective Search算法在每张图像上生成约2000个候选区域。这些候选区域被认为是可能包含目标的区域。特征提取。
Faster R-CNN论文笔记——FR
热门推荐
FR的专栏
10-20 5万+
在介绍Faster R-CNN之前，先来介绍一些前验知识，为Faster R-CNN做铺垫。 一、基于Region Proposal（候选区域）的深度学习目标检测算法 Region Proposal（候选区域），就是预先找出图中目标可能出现的位置，通过利用图像中的纹理、边缘、颜色等信息，保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率（IoU，Intersection-over-
目标检测：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
qq_43799400的博客
03-10 2万+
目标检测：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
目标检测理论基础：RCNN系列架构
小张好难瘦的博客
10-21 898
模型进化史 区域卷积神经网络R-CNN 模型结构 按分类问题对待： 模块1：提取物体区域(Region proposal)：不同位置，不同尺寸，数量很多 模块2：对区域进行分类识别(Classification)：CNN分类器， 计算量大 RCNN:selective search 0、按一定的规则生成区域集R 1、计算区域集R里每个相邻区域的相似度S={s1，s2，...} 2、找出相似度最高的两个区域，将其合并为新集，添加进R 3、从S中移除所有与2中有关的子集 4、计算新集与所有子集的.
深度学习经典网络解析目标检测篇（一）：R-CNN
与君共勉，一起学习
04-23 7551
深度学习经典网络解析（八）：R-CNN1.背景介绍2.目标检测（Object Detection） R-CNN论文详情见我的博客： 深度学习论文阅读（七）：R-CNN《Rich feature hierarchies for accurate object detection and semantic segmentation》 1.背景介绍   目标检测（Object Detection) 就是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，通俗点说就是给定一张图片要精确的定位到物体所
[ 目标检测 ] 经典网络模型1——R-CNN 详解与复现
A_John 的博客
05-08 2129
[ 目标检测 ] 经典网络模型1——R-CNN 详解与复现 1、Regions with CNN features ； 2、R-CNN 详解 ； 3、R-CNN 复现 ； 近年来，目标检测性能在标准 PASCAL VOC 数据集上保持稳定 ； 性能最好的方法是复杂的集成系统（complex ensemble systems），通过将多个低维图像特征与高维背景结合 ； 利用 候选区域与 CNN 相结合 的方式，实现了平均精度（mAP）提高了30%以上 ；..................
Faster RCNN基本结构和各部分原理详解
就随便写写....
11-10 3094
Faster RCNN的基本结构
【机器学习】经典目标检测算法：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
qq_44832832的博客
12-04 3464
R-CNN系列（R-CNN,fast-RCNN,faster-RCNN）是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN 以及faster-RCNN都是延续R-CNN的思路。R-CNN全称region with CNN features，其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues，然后进行SVM分类与bbox的回归（定位置）。【RCNN网络结构】 重要思想： （1）通过专门模板去生成候选框（RPN）,寻找前景以及调整边界框（基于锚框） （2）
faster rcnn 网络结构图解
10-15
faster rcnn 网络结构图解
彻底理解Faster R-CNN内涵，以及目标检测
01-06
目录 一、何为目标检测 二、如何做到目标检测 三、R-CNN 引入 R-CNN的缺点有哪些 四、Fast R-CNN 引入 Fast R-CNN比R-CNN优化的地方，以及其依旧存在的问题 五、Faster R-CNN 引入 网络结构 网络训练 RPN网络训练 总体流程 RPN网络标签的生成 RPN网络LOSS Faster R-CNN网络训练 一、何为目标检测 给你一张图片，告诉我图里有什么？在哪？ 二、如何做到目标检测         学过深度学习的都知道已经事情，一个深度神经网络就是一个巨大的函数，给它输入，它给你输出，相信很多读者都自己构建过深度神经网络并在MNIST手写数字数据集上
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD.doc
12-23
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD。传统的目标检测算法、候选区域/窗 + 深度学习分类
R-CNN和Fast R-CNN组内汇报PPT
03-12
R-CNN和Fast R-CNN组内汇报PPT
深度学习的目标检测技术演进：R-CNN、FastR-CNN、FasterR-CNN
02-25
本文来自于个人微博，本文介绍基于regionproposal的R-CNN系列目标检测方法是当前目标检测技术领域最主要的一个分支。objectdetection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object...
『计算机视觉』Mask-R-CNN
01-27
本文来自于cnblogs，文章主要介绍了Mask-R-CNN流程、抽象架构以及结构等相关内容。 MaskR-CNN是一个实例分割（Instancesegmentation）算法，通过增加不同的分支，可以完成目标分类、目标检测、语义分割、实例分割、...
Faster R-CNN backbone - ResNet101.zip
07-03
Faster R-CNN 的基础网络，ckpt 文件
cascade r-cnn结构图
08-07
Cascade R-CNN是一种用于目标检测的深度学习结构，通过级联多个R-CNN模块来提高检测的准确性和鲁棒性。 Cascade R-CNN结构图由三个主要部分组成：基础网络、R-CNN模块和级联结构。 基础网络通常采用卷积神经网络（CNN），用于提取图像的特征。常见的基础网络有ResNet、VGG等。基础网络负责将原始图像输入，并逐层提取出高层次的特征图，以供后续处理使用。 R-CNN模块是Cascade R-CNN的核心部分。它由若干个R-CNN模块级联而成，每个R-CNN模块通过一个CNN来进行特征提取，然后通过一个ROI Pooling层提取出感兴趣区域（Region of Interest）的特征。接着，这些特征经过全连接层，进行目标分类和边界框回归。 级联结构是Cascade R-CNN的独特之处。它通过级联多个R-CNN模块来逐步提高目标检测的准确性。级联结构的每个阶段都会选择性地引入难例样本，以便让模型更好地学习难以区分的目标。级联结构通常包括三个阶段，每个阶段从不同的阈值划分正负样本，通过进一步训练来提高检测的精度和召回率。 总结起来，Cascade R-CNN的结构图展示了一个多阶段的目标检测系统。它通过级联多个R-CNN模块，逐步提高检测的准确性和鲁棒性。基础网络用于特征提取，R-CNN模块用于目标分类和边界框回归，级联结构用于引入难例样本并提高检测性能。这种结构在目标检测领域取得了显著的性能提升。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值