【机器学习】经典目标检测算法：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍

已于 2023-01-17 15:59:30 修改
阅读量4.8k 收藏 92
点赞数 8
文章标签： 深度学习 pytorch 目标检测
于 2022-12-04 22:02:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44832832/article/details/128177484
版权

文章目录

三者的比较：RCNN、Fast RCNN、 Faster RCNN

一、框架的对比

1.三者都是二阶算法，网络框架比较：

在这里插入图片描述

2.三者的优缺点比较：

在这里插入图片描述

RCNN

一、RCNN系列简介

R-CNN系列（R-CNN,fast-RCNN,faster-RCNN）是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN 以及faster-RCNN都是延续R-CNN的思路。

R-CNN新提出了CNN卷积特征提取方法和微调。

R-CNN全称region with CNN features，其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues，然后进行SVM分类与bbox的回归（定位置）。

【RCNN网络结构】
在这里插入图片描述在这里插入图片描述

二、RCNN算法流程的4个步骤

重要思想：
（1）通过专门模板去生成候选框（RPN）,寻找前景以及调整边界框（基于锚框）
（2）基于之前生成的候选框进行进一步分类以及调整边界框（基于建议框）
具体步骤：
1.一张图像生成1k~2k个候选区域（使用Selective Search方法）
2.对每个候选区域，使用深度网络提取特征（CNN）
3.特征送入每一类的SVM分类器，判别是否属于该类（SVM）
4.使用回归器精细修正候选框位置
步骤详解：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、RCNN存在的问题

1.测试速度慢
2.训练速度慢（过程复杂，cnn、svm、回归网络都要训练）
3.训练所需空间大
在这里插入图片描述

四、论文解析补充

1.R-CNN提出了两个问题

1.如何用CNN定位目标
2.标注数据太少，使用迁移学习的思想（微调）
关于迁移学习（微调）：什么是微调？
图像分类：Image：Net 目标检测：PASCAL VOC

2.重要结论

1.在选择图片的时候，会选择比区域大16个像素的图片，这样边缘信息也会利用上。在卷积的时候信息可能丢失。实验证明扩充16个像素 效果会更好
2.最后分类会多出来一类，这一类代表的是背景类。
3.CNN和SVM使用不同的正负样本划分方法。类别分类器使用0.3的阈值
4.可视化学习的特征：高层提取的特征高层每一个不同的通道，学习的就是不一样的东西。eg：1学的是人，2学的是点状
5.R-CNNBB（Bounding box regression）边界框回归
这是RCNN定准确定位的关键，定位正确的位置什么是R-CNNbb？在这里插入图片描述
6.这里的△x，△y…都是通过训练SVM模型实现回归任务得到的。
上述公式预测的是△x，△w，而作者预测的是dx，dw，这是为什么？
1.因为△w是宽放大的比例，这里只可能为正数，但是通过svm模型预测出来的可能存在负数。通过先预测出来dw （也可能是正负），那么通过exp的函数一定是正数即可保证△w为正数。
2.如下图所示，当使用d计算的话，对于两张相同预测和真实之间的损失函数的值相同。在这里插入图片描述

fast-RCNN

一、fast-RCNN简介

Fast R-CNN是作者Ross Girshick继R-CNN后的又一力作。同样使用VGG16作为网络的backbone，与R-CNN相比训练时间快9倍，测试推理时间快213倍，准确率从62%提升至66%(再Pascal VOC数据集上)。
在这里插入图片描述
注意：
这里与RCNN有明显的不同，RCNN是独立的四步，这里只有两步，所以大大加快了训练速度。
在这里插入图片描述

二、fast-RCNN算法的3个步骤

1.一张图像生成1K~2K个候选区域(使用Selective Search方法)
2.将图像输入网络得到相应的特征图，将SS算法生成的候选框投影到特征图上获得相应的特征矩阵
3.将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图，接着将特征图展平通过一系列全连接层得到预测结果
在这里插入图片描述
注意：
与RCNN在第二步有所不同，RCNN是把候选框送入CNN，而fast-RCNN是把整张图片送进去。
在这里插入图片描述

1.概念：训练数据的采样（正负样本）

1.正样本就是感兴趣的部分，负样本就是没有我们需要的样本（可以理解为背景）
2.训练的时候不是用ss算法中的全部候选框，只是使用了一部分:只要候选框和我们的真实的目标边界框的iou大于0.5，那么就认为是正样本，不是所有的正样本都会被使用，也是随机选择使用的。
3.RoI Pooling Layer
在这里插入图片描述

2.分类器

在这里插入图片描述

3.边界框回归器

在这里插入图片描述
在这里插入图片描述

4.多任务损失函数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、论文解析补充

1.R-CNN的缺点

1.训练是多阶段的
2.训练需要大量的空间和时间
3.因为每张图片需要2000个候选框，所以训练的很慢
主要原因：R-CNN需要一个CNN前向传播，但是没有使用到共享计算。这里使用SPPnet的思路
下边介绍一下SPPnet引入的新思想 什么是SPPnet？
在这里插入图片描述
这里使用到sppnet思想空间金字塔池化层
和RCNN的区别
RCNN一般使用的是3*3步长为2的最大池化层，spp层就是限制了输出的尺寸，动态池化控制输出尺寸，不需要想RCNN限制输入图片的尺寸了。
新思想：
不传候选区域，直接传整张图片。这一块解决了上述CNN因为候选框太多处理图片慢的问题。
缺点：
无法更新空间金字塔池化之前的卷积层

2.Fast R-CNN方法的几个优点

1.mAP高于R-CNN、SPPnet
2.训练是单阶段的，使用多任务损失
3.训练可以更新所有网络层 （包括卷积层和全连接层）
4.特性缓存不需要磁盘存储

3.Fast R-CNN引入Rol层

RoI层只是SPPnets中使用的空间金字塔池化层的特殊情况，其中只有一个金字塔层。

4.尺度不变性

有两个目标，一个目标大，一个小，如果都能被识别，证明模型有很好的尺度不变性。

5.最长时间的花费地方

对于检测，要处理的roi数量很大，并且近一半的前向通过时间花在计算全连接层上

6.SVD压缩参数

中间的对角矩阵，左上的最重要，右下的相对不重要，故取左上一部分。把nn 变tt.相当于把n压缩到t，压缩的越多，后续的参数越少。
在这里插入图片描述

7.重要结论

1.sppnet只微调全连接层，把卷积层全部冻结。
fastrcnn证明了微调卷积层也是很重要的,实验证明调越靠前的卷积层，效果会更好。
2.多任务训练能提高平均精度。
3.多尺度训练能提高平均精度。
4.大量的训练数据能提高平均精度。
5.使用softmax替换SVM能提高平均精度。
6.使用更多的候选框不一定能提高平均精度。会出现先上升再向下的趋势
7.不需要再单独训练分类器和边界框回归器了

Faster RCNN

一、Faster RCNN简介

Faster RCNN 是作者 Ross Girshick 继 RCNN 和 Fast RCNN后的又一力作。同样使用 VGG16作为网络的backbone，推理速度在GPU上达到5fps(包括候选区域的生成)，准确率也有进一步的提升。在2015年的ILSVRC以及cOco竞赛中获得多个项目的第一名。

二、Faster RCNN算法流程

Faster RCNN = RPN + Fast RCNN
RPN 是指 Region Proposal Network，建议区域生成网络。 Faster RCNN 中用 RPN 来代替了 Fast RCNN 中的SS算法。

1.算法流程

（1）将图像输入网络得到相应的特征图。

（2）使用RPN网络生成候选框，将RPN生成的候选框投影到特征图上获得ROI区域的特征矩阵。

（3）将每个ROI区域的特征矩阵通过 ROI pooling 层缩放到7x7大小的特征图，接着将特征图展平为vector，之后通过一系列全连接层得到预测结果。

2.Faster RCNN 网络的基本结构

在这里插入图片描述

3.RPN网络（Region Proposal Network）
3.1RPN网络结构

在这里插入图片描述
图中的 conv feature map 是图像输入网络得到相应的特征图，通过sliding window处理之后产生一个256-d的一维向量。该向量通过两个全连接层，分别输出分类概率scores和边界框回归参数coordinates，其中k是指 k个 anchor boxes，2k个scores是每个 anchor box 分别为前景和背景的概率（注意这里只区分前景和背景，所有的类别都归为前景），4k个coordinates是因为每个anchor box 有四个参数。
注意
2k cls的2分别代表是背景不是背景
4k reg的4代表中心坐标、宽、高

3.2 anchor的定义

anchor不是候选框（Proposal），后面会提到二者的区别。
在这里插入图片描述
我们在特征图中找一个点，就可以在原图中找到对应的一个像素点，以该像素点为中心，画出9个不同大小和长宽比的框，称为anchor 。如下图所示，这些anchor里面可能包含目标，也可能没有目标。因为我们在一张图中想找的的目标的大小和长宽比并不是固定的，所以这里用9个不同大小和长宽比的anchor来进行预测。
注意
这里要做特征图向原图的映射
如果找？
x = 原图的宽度/特征图的宽度（取整）* 3 (x = 步距 * 滑动窗口大小)
y = 原图的高度/特征图的高度（取整）* 3 (y = 步距 * 滑动窗口大小)
为什么是9个anchor呢？
论文中给出了每个anchor的面积和长宽比：

所以特征图中的每个位置在原图中都会生成 33=9 个anchor，如下图所示，蓝色的三个anchor是面积为128128的，红色是面积为256256的，绿色是512512的。
在这里插入图片描述
如何计算感受野？
在这里插入图片描述
论文细节
在这里插入图片描述

3.3 RPN生成proposal的过程

对于一张 1000x600x3 的图像（三通道），用3x3的卷积核进行特征提取得到60x40的特征图，则共有 60x40x9 （约2w个）个anchor。忽略超过图片边界的 anchor 后，剩下约 6000 个anchor。

对于这6000 个 anchor，通过RPN生成的边界框回归参数将每个 anchor 调整为proposal（前面提到了每个anchor经过RPN都输出2个概率和4个边界框回归参数），这里就能看到anchor和proposal的区别。这个过程就是 RPN 生成候选框的过程。

RPN 生成的候选框之间存在大量重叠，基于候选框的cls得分，采用非极大值抑制，IoU设为0.7，这样每张图片只剩下 2000 个候选框。

4.Faster RCNN框架

在这里插入图片描述
Faster RCNN 在Fast RCNN的基础上更进一步，将候选框生成也融入到CNN网络中，使得 候选框生成、特征提取、候选框分类、候选框边界回归这四大部分都结合在一个CNN网络中，避免了分步训练，实现了真正端到端的目标检测。

三、论文解析补充

1.fastrcnn分配两种anchor

1）与目标框相交最大的anchor 2）IOU>0.7的anchor

2.三种训练网络

1）交替训练本篇论文使用的就是交替训练
2）近似联合训练存在的问题：RPN在反向传播时，不能计算偏导数。所以求出来的值只是一个近似值。
3）非近似联合训练

3.交替训练的过程

1）单独训练RPN网络
2）单独训练RCNN网络,并且使用第1步训练的RPN网络
3）使用RCNN网络初始化RPN网络(这里固定了卷积层，仅仅微调了RPN独有的结构)
4）固定了卷积层，仅仅微调了RCNN独有的结构
在这里插入图片描述

4.感受野的问题

ZF感受野171
VGG感受野228
在这里插入图片描述
为什么能预测的比感受野更大？
根据可见部分，可以粗略预测（人们在看东西的时候，也可以根据已知推未知）

5.小知识点

1）coco数据集上小目标图像比较多
2）RPN上只跑了300个候选区域（通过实验所得）

Jul7_LYY
关注
  • 8
    点赞
  • 踩
  • 92
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
【目标检测】RCNN算法详解
shenxiaolu1984的专栏
04-05 22万+
深度学习用于目标检测的RCNN算法
R-CNN算法详解
热门推荐
AI之路
06-03 2万+
这是一篇比较早的Object Detection算法，发表在2014年的CVPR，也是R-CNN系列算法的开山之作，网上可以搜到很多相关的博客讲解，本篇博文没有按论文顺序来讲述，而是结合自己经验来看这个算法，希望给初学者一个直观的感受，细节方面不需要太纠结，因为很多部分在后来的算法中都改进了。论文：Rich feature hierarchies for accurate object detect
目标检测的一些知识包括常用数据集VOC、COCO以及RCNN、Fast-RCNN、Faster-RCNN、YOLO、SSD算法
12-27
1、资源内容：目标检测的一些知识包括常用数据集VOC、COCO以及RCNN、Fast_RCNN、Faster_RCNN、YOLO、SSD算法 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 4、作者介绍：某大厂资深算法工程师，从事Matlab、Python、C/C++、Java、YOLO算法仿真工作10年；擅长计算机视觉、 目标检测模型、智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、智能控制、路径规划、无人机等多种领域的算法仿真实验，更多源码，请上博主主页搜索。 -------------------------------------------------------------------------- -
Fast R-CNN网络结构、框架原理详解
最新发布
qq_52191127的博客
07-22 1353
在Fast R-CNN中，并不适用SS算法提供的所有的候选区域，SS算法会差不多得到2000个候选框，但是训练的过程中其实只需要使用其中的一部分就可以了，Fast R-CNN中好像只挑选了其中的64个。分别对应着我们回归参数 x 的smoothL1的回归损失，回归参数 y 的smoothL1的回归损失，回归参数 w 的smoothL1的回归损失与最后的回归参数 h 的smoothL1的回归损失。而当u不满足条件时，也就是u<1时，也就是u=0时，（u为类别的标签），此时类别标签为背景，公式的值为0.
目标检测：rcnn-->sppnet-->fast rcnn-->faster rcnn
11-02 2198
R-CNN --> SPPNet-->  FAST-RCNN --> FASTER-RCNN   1、R-CNN:  https://zhuanlan.zhihu.com/p/23006190?refer=xiaoleimlnote (1)输入测试图像； (2)利用selective search 算法在图像中从上到下提取2000个左右的Region Proposal；
【机器学习】目标检测
ChristinaXinny的博客
03-09 1185
目标检测历史 https://www.cnblogs.com/skyfsm/p/6806246.html
机器学习---目标检测
m0_37468171的博客
09-24 1275
如何理解一张图片？根据后续任务的需要，有三个主要层次 一、分类 二、检测 三、分割 检测模型 两阶段（2-stage）： 1、R-CNN(Regions with CNN features)：R-CNN系列的开山之作 2、Fast R-CNN: 共享卷积运算 3、Faster R-CNN: 两阶段模型的深度化 单阶段（1-stage）： 单阶段模型没有中间的区域检出过程，直接从图片获得预测结果，...
大话目标检测经典模型（RCNN、Fast RCNN、Faster RCNN）
雪饼的博客
03-31 6739
目标检测是深度学习的一个重要应用，就是在图片中要将里面的物体识别出来，并标出物体的位置，一般需要经过两个步骤：1、分类，识别物体是什么 2、定位，找出物体在哪里 除了对单个物体进行检测，还要能支持对多个物体进行检测，如下图所示： 这个问题并不是那么容易解决，由于物体的尺寸变化范围很大、摆放角度多变、姿态不定，而且物体有很多种类别，可以在图片中出现多种物体、出现在任意位置。因此，目标检测是一个比较复...
目标检测算法面试基础知识合集RCNN、Fast RCNN、FasterRCNN、YOLO系列、SSD、FPN、RetinaNet
weixin_43217928的博客
03-11 2056
目标检测算法R-CNN优点缺点SPP-Netpipeline优点缺点Fast R-CNNpipeline优点缺点Faster R-CNNpipeline优点缺点细节YOLOv1pipeline优点缺点细节YOLOv2pipeline优点缺点细节YOLO9000YOLOv3pipeline优点缺点细节SSD优点缺点细节 R-CNN 利用selective search提出region propos...
细讲：RCNN、Fast R-CNN和Faster R-CNN
填坑
02-27 1544
细讲：RCNN、Fast R-CNN和Faster R-CNNR-CNNR-CNN模型结构one-stage ：Region ProposalSelective searchtwo-stage ：Classification and bounding box regressionClassificationbounding box regressionLossFast R-CNNFast R-CNN模型结构RoI featureSVDClassificationbox regressionLossFast
实战技术——基础目标检测算法介绍：CNN、RCNN、Fast RCNN和Faster RCNN
weixin_41663412的博客
03-14 400
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 每次丢了东西，我们都希望有一种方法能快速定位出失物。现在，目标检测算法或许能做到。目标检测的用途遍布多个行业，从安防监控，到智慧城市中的实时交通监测。简单来说，这些技术背后都是强大的深度学习算法。 在这篇文章中，我们会进一步地了解这些用在目标检测中的算法，首先要从RCNN家族开始，例如RCNN、Fast RCNN和Fas...
faster rcnn 网络结构图解
10-15
faster rcnn 网络结构图解
faster rcnn网络结构图解
01-07
faster rcnn网络结构图解
目标检测 机器学习方法 静态场景 测试车辆检测
02-14
利用机器学习方法（分类）实现静态场景下的测试车辆检测  利用C语言或者Open_CV库，或者是MATLAB软件编写实现静态场景下的测视车辆检测。需使用机器学习方法。代码可以通过一个主函数直接运行出实验结果。  Data文件夹中包含train_34x94（训练集）和test（测试集）两个文件夹。其中，train_34x94文件夹中的数据用于训练模型，包含pos文件夹（内有550个正例样本）和neg文件夹（内有500个负例样本）； Test文件夹中的数据用于测试。  在Test测试集中的总体检测性能的评价指标为Recall、Precision 和F-measure，写出对算法的性能评价和对实现中遇到问题的理解。
目标检测 | R-CNN、Fast R-CNN与Faster R-CNN理论讲解
houjingchuan的博客
05-29 2619
目标检测：R-CNN、Fast R-CNN与Faster R-CNN理论讲解，根据B站up霹雳吧啦Wz总结。此文章包含R-CNN算法原理讲解、Fast R-CNN算法原理讲解、Faster R-CNN原理讲解、目标检测评价指标介绍与特征金字塔网络FPN讲解。
目标检测模型的评估指标mAP详解(附代码）
别说话写代码的博客
12-10 1万+
文章转自：https://zhuanlan.zhihu.com/p/37910324 对于使用机器学习解决的大多数常见问题，通常有多种可用的模型。每个模型都有自己的独特之处，并随因素变化而表现不同。 每个模型在“验证/测试”数据集上来评估性能，性能衡量使用各种统计量如准确度（accuracy），精度（precision），召回率（recall）等。选择的统计量通常针对特定应用场景和用例。 对于...
深度学习机器学习目标检测
06-30 968
一、目标检测 1.深度学习开发流程 2.应用案例 3.目标检测算法基本流程 二．机器学习 1.机器学习算法能解决那些问题 分类问题：图像识别，垃圾邮件识别 回归问题：各种预测（房价，天气，股价等等） 排序问题：推荐，点击率排序 生成问题：图像生成，图像风格转换，图像文字描述生成 2.机器学习实现流程 3.深度学习算法集合 卷积神经网络:卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数..
RCNN、Fast RCNN、Faster RCNN对比
qq_32172681的博客
08-27 5656
RCNN、Fast RCNN、Faster RCNN详解参考以下文章： RCNN：https://blog.csdn.net/qq_32172681/article/details/99105617 Fast RCNN：https://blog.csdn.net/qq_32172681/article/details/99194233 Faster RCNN：https://blog.csd...
基于机器学习的目标检测实践（人脸识别python+tensorflow）
weixin_56195993的博客
11-27 650
基于深度学习框架的模型训练人脸识别
Faster R-CNN神经网络模型
01-22
Faster R-CNN是一种经典的目标检测神经网络模型，它在目标检测领域取得了很大的成功。Faster R-CNN的核心思想是引入了Region Proposal Network（RPN），通过RPN生成候选框，并将这些候选框输入到Fast R-CNN中进行目标分类和边界框回归。 Faster R-CNN的网络结构主要包括三个部分：卷积层提取特征、Region Proposal Network（RPN）和Fast R-CNN。首先，输入图像经过卷积层提取特征，得到特征图。然后，RPN在特征图上滑动窗口，生成候选框，并对这些候选框进行分类和边界框回归。最后，选取具有最高置信度的候选框，将其输入到Fast R-CNN中进行目标分类和边界框回归。 Faster R-CNN的训练过程是交替进行的。首先，训练RPN网络，通过RPN生成候选框。然后，利用生成的候选框训练Fast R-CNN，调整网络参数。最后，使用调整后的网络初始化RPN，再次进行交替训练。 以下是Faster R-CNN的网络结构框图： ``` 输入图像 -> 卷积层提取特征 -> RPN生成候选框 -> Fast R-CNN目标分类和边界框回归 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jul7_LYY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值