目标检测 | R-CNN、Fast R-CNN与Faster R-CNN理论讲解

已于 2024-05-29 22:22:34 修改
阅读量8.2k 收藏 67
点赞数 25
分类专栏： 目标检测 文章标签： 目标检测 cnn 计算机视觉 人工智能
于 2024-05-29 22:01:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/houjingchuan/article/details/139305583
版权

☀️教程：霹雳吧啦Wz
☀️链接：https://www.bilibili.com/video/BV1af4y1m7iL?p=1&vd_source=c7e390079ff3e10b79e23fb333bea49d

一、R-CNN

R-CNN（Region with CNN feature）是由Ross Girshick在2014年提出的，在PASCAL VOC目标检测竞赛中获得冠军，是利用深度学习进行目标检测的开山之作。

1.1 R-CNN算法流程

在这里插入图片描述

（1）候选区域的生成

在这里插入图片描述

（2）深度网络提取候选框特征

在这里插入图片描述

得到的特征图展平后不经过全连接层

（3）将特征向量送入所有的SVM分类器，判定类别

在这里插入图片描述

SVM分类器是一个二分类的分类器，所以每一个分类器只能判定一个类别，对于PASCAL VOC来说一共20个类别，所以共20个SVM分类器。

在这里插入图片描述

得到的2000×20的矩阵，每一行表示一个候选框，每一列代表是某个类别的概率。

利用非极大值抑止（NMS）算法，剔除重叠建议框：

在这里插入图片描述

其中，IoU是交并比（A与B的交集除以A与B的并集），交并比越大，重叠部分越多。

NMS算法是根据每一个类别来应用到所有的候选框上的，举例，第一个类别是猫，那么就对所有候选框预测为猫的概率值进行NMS，第二个类别是狗，那么就对所有候选框预测为狗的概率值进行NMS，如下图所示，是按照每一列来依次进行处理的：

在这里插入图片描述

NMS算法的流程是：

  1. 寻找该类得分最高的目标
  2. 计算其他目标与该目标的IoU值
  3. 删除所有IoU值大于给定阈值的目标

这样下来，每一个类别都会剩下N个候选框。

（4）使用回归器精细修正候选框位置

在这里插入图片描述

对NMS处理后的建议框进一步筛选，我的理解是接着剔除掉那些概率低的候选框，原论文中说的是保留那些与真实边界框（Ground Truth）有相交并且IoU大于某个阈值的候选框。

接下来同样使用CNN提取所有候选框的特征向量，对其进行回归，得到偏移量。

1.2 R-CNN框架

在这里插入图片描述

1.3 R-CNN存在的问题

在这里插入图片描述

针对第二点，训练速度慢，是因为四个部分的训练是相互独立的，进而导致了第三点训练所需空间大的问题。

二、Fast R-CNN

Fast R-CNN是在2015年Ross Girshick继R-CNN后的又一力作。同样使用VGG16作为backbone，与R-CNN相比训练时间快了9倍，推理时间快213倍，准确率从62%提升到66%（在PASCAL VOC数据集）

2.1 Fast R-CNN算法流程

在这里插入图片描述

（1）候选区域的生成

与R-CNN方法相同

（2）一次性计算整张图像的特征，并根据候选框的区域来投射到特征图上获得相应特征矩阵

在这里插入图片描述

关于数据采样的问题：

在这里插入图片描述

在Fast R-CNN训练过程中，并不是使用SS算法提供的全部候选框，而是使用其中的一小部分，而且对采样的数据分正负样本，正样本存在我们想要检测的东西，负样本可以理解为背景，里面没有想要检测的目标。这样的做法是防止网络在训练过程中偏向于正样本的结果（数据不平衡导致的）。

论文中的方法是对于每张图片，从2K个候选框中采样64个候选区域，64个候选区域中一部分是正样本一部分是负样本。正样本的定义是候选框与真实框的IoU大于0.5，负样本的定义是与所有真实框IoU值最大在0.1-0.5之间的候选框。

（3）采样完样本之后，对于每个样本，将其区域投射到整张图像特征图中得到其区域特征图，再经过RoI Pooling层调整到统一的7×7尺寸，输入进分类网络和回归网络完成该候选框的分类和预测。

在这里插入图片描述

RoI Pooling Layer的实现原理：

在这里插入图片描述

其实就是将候选框划分为7×7的49个区域，再对这些区域进行最大池化，完成特征尺寸的调整。这样一来就不限制候选框图像的输入尺寸了（R-CNN需要将输入图像调整到227×227再进行操作）。

接下来，将最大池化后的特征图经过两个全连接层得到RoI Feature Vector，再输入进分类器与回归器（两个是并联的）

针对分类器：实际上是一个全连接层

在这里插入图片描述

分类器将会输出N+1个类别的概率，多出来的1预测的是背景概率。

针对边界框回归器：实际上是一个全连接层

在这里插入图片描述

针对每一个类别都将输出一个边界框回归参数。每一个边界框回归参数由中心点坐标x，y与宽和高w，h组成。所以最终输出的是（N+1）×4个值。

这个边界框回归参数是你要根据这些参数去调整候选框的位置的，而不是直接预测出来最终的边界框位置。

针对根据边界框回归参数修正候选框：

在这里插入图片描述

2.2 Fast R-CNN损失计算

在这里插入图片描述

其中，分类损失使用的就是交叉熵损失函数：

在这里插入图片描述

其中，边界框回归损失：

在这里插入图片描述

λ \lambda λ是一个权衡分类损失与边界框回归损失的系数。

[ u > = 1 ] [u>=1] [u>=1]表示当 u u u小于1的时候，代表这是背景（即负样本），没有边界框回归损失，取值为0。当 u u u大于等于1的时候，代表检测类别，计算边界框回归损失，取值为1。

其中： L l o c ( t u , v ) = ∑ i = x , y , w , h s m o o t h L i ( t i u − v i ) L_{loc}(t^u,v)=\sum_{i={x,y,w,h}}smooth_{L_i}(t_i^u-v_i) Lloc​(t

最低0.47元/天 解锁文章
大话目标检测经典模型（RCNN、Fast RCNN、Faster RCNN）
qq_33287871的博客
10-04 1364
目标检测是深度学习的一个重要应用，就是在图片中要将里面的物体识别出来，并标出物体的位置，一般需要经过两个步骤： 1、分类，识别物体是什么 2、定位，找出物体在哪里 除了对单个物体进行检测，还要能支持对多个物体进行检测，如下图所示： 这个问题并不是那么容易解决，由于物体的尺寸变化范围很大、摆放角度多变、姿态不定，而且物体有很多种类别，可以在图片中出现多种物体、出现在任意位置。因此，目标检测是一个比较复杂的问题。 最直接的方法便是构建一个深度神经网络，将图像和标注位置作为样本输入，然后经过CNN网络，再.
计算机视觉目标检测算法对比：R-CNN、YOLO与SSD全面解析
最新发布
CSDN博客专家，系统架构师，有合作、疑惑请私信博主。
04-21 9414
计算机视觉目标检测算法对比：R-CNN、YOLO与SSD全面解析，人工智能、AI、计算机视觉领域中，目标检测是一项至关重要的任务，其旨在识别图像或视频中感兴趣的目标物体，并确定它们的位置。从安防监控中的人员检测，到自动驾驶中的行人、车辆识别，目标检测技术都有着广泛的应用。在众多目标检测算法中，R-CNN、YOLO 和 SSD 具有代表性，它们各自有着独特的设计理念和技术路线，在不同场景下展现出不同的性能表现。本文将深入剖析这三种算法，通过原理阐述、性能对比以及代码示例，帮助读者全面理解它们的特点与差异。
RCNN、Fast-RCNN、Faster-RCNN网络详解
STATEABC的博客
04-02 6607
RCNN RCNN算法流程： 1.一张图片生成1k~2k个候选区域(使用Selective Search方法)； 2.对每个候选区域，使用深度网络(即图片分类网络)提取特征； 3.特征送入每一类的SVM分类器，判别是否属于该类； 4.使用回归器精细修正候选框位置。 1.候选区域的生成 利用Selective Search算法通过图像分割的方法得到一些原始区域，然后使用一些合并策略将这些区域合并，得到一个层次化的区域结构，这些结构就包含着肯能需要的物体。 2.对每个候选区域，使用深度网络提取特征 将200
Faster R-CNN ：模型结构详解
Wei_sx的博客
02-20 1680
Faster R-CNN 的结构设计通过结合特征提取、候选区域生成、RoI处理以及目标分类和回归，大幅提高了目标检测的速度和精度。每个组成部分相辅相成，使得整个模型能够有效处理复杂的视觉场景，广泛应用于自动驾驶、视频监控和智能医疗等领域。
市面上目标检测算法总结
weixin_70423469的博客
07-02 2651
市面上现在比较流行的目标检测算法优缺点、各项指标与性能优劣
RCNN系列算法
qq_42301955的博客
10-24 1543
R-CNN总结
R-CNN、Fast R-CNN、Faster R-CNN
qq_42261092的博客
07-03 1569
1、R-CNN(Regions with CNN features) 2014年提出，可以说是利用深度学习进行目标检测的开山之作，将识别准确率从30%多提高到50%多。与R-CNN同一时期的深度学习方法有overfit，但效果没有RCNN好，故听说得少。 ① R-CNN算法流程四步 第二步：这里的深度网络指的是图片分类网络，这里将候选区域丢入到特征提取网络就能得到特征向量； 第四步：因为通过SS算法框定的候选框不是那么准，于是选用回归器修正候选框的位置； Ⅰ 候选区域的生成 ...
R-CNN、Fast-R-CNN和Faster-R-CNN
MachineLP的专栏
05-16 5769
R-CNN：针对区域提取做CNN的object detction。 <img src="https://pic1.zhimg.com/36bb2ec6663657eff23edcef578fe3b0_b.jpg" data-rawwidth="629" data-rawheight="220" class="or
R-CNN、Fast R-CNN与Faster R-CNN
方悔读书迟
03-28 574
一、R-CNN训练步骤如下： (1). 训练(或下载)一个分类模型(比如AlexNet)，预训练； (2). 对(1)中生成的模型做fine-tuning，将分类从1000改为20，比如20个物体类别+1个背景；去掉最后一个全连接层； (3). 特征提取：提取图像的所有候选框；对于每一个区域，修正区域大小以适合CNN的输入，做一次前向运算，将第5个卷积层后池化层的输出(就是对候选框提取到的特征)保...
【目标检测】R-CNN
可乐大牛的博客
09-15 523
R-CNN是将CNN用于目标检测领域的开山之作(虽然不一定是最早的，但确实最早出现好效果的)，也是两阶段目标检测技术的开山之作，是后面一个系列的第一篇文章。
深度学习之目标检测R-CNN模型算法流程详解说明（超详细理论篇）
热门推荐
qq_55433305的博客
06-24 2万+
RCNN算法分为4个步骤:获取候选区域：对于一张输入的图像，首先使用selective search算法获取2000个左右的候选区域。获取图像特征：将图像输入到卷积神经网络中获取图像特征，这一部分可以采用常用的图像卷积神经网络如VGGNet,AlexNet等。获取区域类别：在初步获得目标的位置之后，需要获取目标的类别，这一步采用SVM分类器来判断当前区域属于哪个类别。微调区域位置：尽管候选区域已经初步目标的位置，但是这个区域比较粗糙，因此使用回归器对区域位置进行微调
深度学习经典网络解析目标检测篇（一）：R-CNN
与君共勉，一起学习
04-23 8423
深度学习经典网络解析（八）：R-CNN1.背景介绍2.目标检测（Object Detection） R-CNN论文详情见我的博客： 深度学习论文阅读（七）：R-CNN《Rich feature hierarchies for accurate object detection and semantic segmentation》 1.背景介绍   目标检测（Object Detection) 就是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，通俗点说就是给定一张图片要精确的定位到物体所
深度学习-目标检测(一)-R-CNN
m0_73426548的博客
09-10 2372
目标检测的暴力方法是从左到右、从上到下滑动窗口，利用分类识别目标。为了在不同观察距离处检测不同的目标类型，我们使用不同大小和宽高比的窗口。如下图所示： 这样就变成每张子图片输出类别以及位置，变成分类问题。但是滑动窗口需要初始设定一个固定大小的窗口，这就遇到了一个问题，有些物体适应的框不一样，所以需要提前设定K个窗口，每个窗口滑动提取M个，总共K x M 个图片，通常会直接将图像变形转换成固定大小的图像，变形图像块被输入 CNN 分类器中，提取特征后，我们使用一些分类器识别类别和该边界框的另一个线性回归器。这
深度学习——目标检测（R-CNN、Fast R-CNN、Faster R-CNN）
清园暖歌的博客
09-04 296
A svm分类后概率为 0.98，B 概率为 0.86，通过对边界框进行IOU计算，大于我们设定的阈值说明是同一个目标，就把概率低的删掉。这里应该就是二值交叉熵损失，如果是softmax，对于是前景的概率应该也是更大的概率，而不是0.1这种，pi就是目标的概率。[u≥1] 的意思是：当 u 满足 ≥1时，这一项 = 1，当u不满足≥1时，就是对应背景时，这一项 =0。2000个框，每个框都得到4096个特征，把得到的输入svm，得出20个分类的结果。backbone 就是你用于特征提取的主干网络结构。
【机器学习】经典目标检测算法：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
qq_44832832的博客
12-04 6485
R-CNN系列（R-CNN,fast-RCNN,faster-RCNN）是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN 以及faster-RCNN都是延续R-CNN的思路。R-CNN全称region with CNN features，其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues，然后进行SVM分类与bbox的回归（定位置）。【RCNN网络结构】 重要思想： （1）通过专门模板去生成候选框（RPN）,寻找前景以及调整边界框（基于锚框） （2）
fast rcnn和faster rcnn
ffllxx123的博客
07-15 1228
wu
RCNN、SPP-net、Fast-RCNN和Faster-RCNN
weixin_30752699的博客
05-02 303
RCNNRCNN (Regions with CNN features) 的核心思想是把图像划分成N（2000）个独立的区域，分别提取每个区域的CNN特征，然后把这些特征使用SVM等分类器进行结果预测，把目标检测任务转换成了分类任务。RCNN由Ross Girshick在2013年提出。RCNN算法的4个步骤：1. 候选区域选择选择候选区域就是进行区域提名（Re...
基于候选区域的深度学习目标检测算法R-CNN，Fast R-CNN，Faster R-CNN
05-19
基于候选区域的深度学习目标检测算法主要有 R-CNN、Fast R-CNN 和 Faster R-CNN 三种。 1. R-CNN R-CNN（Regions with CNN features）是第一个将深度学习引入目标检测领域的算法。它的主要思路是将待检测的图像分成若干个候选区域（regions），对每个候选区域进行卷积特征提取，并使用支持向量机（SVM）分类器对候选区域进行二分类，判断其是否属于目标类别。最后对分类为目标类别的候选区域进行边框回归，得到目标检测框。 2. Fast R-CNN Fast R-CNN 是 R-CNN 的改进版，主要是为了解决 R-CNN 运行速度慢的问题。与 R-CNN 不同的是，Fast R-CNN 采用了全图卷积特征提取的方式，不再对每个候选区域进行单独的卷积特征提取，这样可以避免重复计算。此外，Fast R-CNN 引入了 RoI pooling 层，将不同大小的候选区域固定为相同大小的特征图，便于后续处理。 3. Faster R-CNN Faster R-CNN 是在 Fast R-CNN 的基础上进行的改进，主要是引入了 RPN（Region Proposal Network）模块，用于生成候选区域。具体来说，RPN 使用一个小型的卷积神经网络对全图进行卷积特征提取，然后在每个位置上生成若干个候选框和相应的得分，这些候选框被送入 RoI pooling 层和 Fast R-CNN 进行分类和回归。Faster R-CNN 能够同时进行目标检测和候选区域生成，速度和准确率都有较大提升。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

侯静川

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值