目标检测算法之R-CNN算法详解

最新推荐文章于 2025-03-31 09:09:15 发布
转载 最新推荐文章于 2025-03-31 09:09:15 发布 · 924 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/zyly/p/9246221.html

R-CNN作为首个成功应用深度学习的目标检测算法，基于Region-CNN思想，改进了传统目标检测流程，显著提升了检测精度。通过Selective Search生成候选区域，结合深度卷积网络特征提取，以及SVM分类与回归器定位，实现高效准确的目标识别。

 

Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.

R-CNN的全称是Region-CNN,它可以说是第一个成功将深度学习应用到目标检测上的算法。后面要讲到的Fast R-CNN、Faster R-CNN全部都是建立在R-CNN基础上的。

传统的目标检测算法大多数以图像识别为基础。一般可以在图片上使用穷举法或者滑动窗口选出所有物体可能出现的区域框，对这些区域框提取特征并进行使用图像识别分类方法，得到所有分类成功的区域后，通过非极大值抑制输出结果。

一 R-CNN思路

R-CNN遵循传统目标检测的思路，同样采用提取框，对每个框提取特征、图像分类、非极大值抑制四个步骤进行目标检测、只不过进行了部分改进。

  • 经典的目标检测算法使用滑动窗法依次判断所有可能的区域。而这里预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断,大大减少了计算量。
  • 将传统的特征(如SIFT,HOG特征等)换成了深度卷积网络提取特征。

在训练时使用两个数据库： 
一个较大的识别库（ImageNet ILSVC 2012）：标定每张图片中物体的类别。一千万图像，1000类。 
一个较小的检测库（PASCAL VOC 2007）：标定每张图片中，物体的类别和位置。一万图像，20类。 
使用识别库进行预训练，而后用检测库调优参数。最后在检测库上评测。

二 算法简述

数据集采用pascal VOC，这个数据集的object一共有20个类别。首先用selective search方法在每张图像上选取约2000个region proposal，region proposal就是object有可能出现的位置。然后根据这些region proposal构造训练和测试样本，注意这些region proposal的大小不一，另外样本的类别是21个（包括了背景）。

然后是预训练，即在ImageNet数据集下，用AlexNet进行训练。然后再在我们的数据集上fine-tuning，网络结构不变（除了最后一层输出由1000改为21），输入是前面的region proposal进行尺寸变换到一个统一尺寸227*227，保留f7的输出特征2000*4096维。

针对每个类别（一共20类）训练一个SVM分类器，以f7层的输出作为输入，训练SVM的权重4096*20维，所以测试时候会得到2000*20的得分输出，且测试的时候会对这个得分输出做NMS（non-maximun suppression），简单讲就是去掉重复框的过程。同时针对每个类别（一共20类）训练一个回归器，输入是pool5的特征和每个样本对的坐标即长宽。

三 训练步骤

R-CNN的训练可以分成以下步骤：

  • 准备region proposal。对于训练集中的所有图像，采用selective search方式来获取，最后每个图像得到2000个region proposal。
  • 准备正负样本。如果某个region proposal和当前图像上的所有ground truth(标记)重叠面积最大的那个的IOU大于等于0.5，则该region proposal作为这个ground truth类别的正样本，否则作为负样本。另外正样本还包括了Ground Truth。因为VOC一共包含20个类别，所以这里region proposal的类别为20+1=21类，1表示背景。简单说下IOU的概念，IOU是计算矩形框A、B的重合度的公式：IOU=(A∩B)/(A∪B)，重合度越大，说明二者越相近。
  • 预训练。这一步主要是因为检测问题中带标签的样本数据量比较少，难以进行大规模训练。采用的是Krizhevsky在2012年的著名网络AlexNet来学习特征，包含5个卷积层和2个全连接层，在Caffe框架下利用ILSVRC 2012的数据集进行预训练，其实就是利用大数据集训练一个分类器，这个ILSVRC 2012数据集就是著名的ImageNet比赛的数据集，也是彩色图像分类。
  • fine-tuning。将2中得到的样本进行尺寸变换，使得大小一致，这是由于2中得到的region proposal大小不一，所以需要将region proposal变形成227*227(如何变形参考R-CNN论文详解)。本文中对所有不管什么样大小和横纵比的region proposal都直接拉伸到固定尺寸。然后作为3中预训练好的网络的输入，继续训练网络，继续训练其实就是迁移学习。另外由于ILSVRC 2012是一个1000类的数据集，而本文的数据集是21类（包括20个VOC类别和一个背景类别），迁移的时候要做修改，将最后一个全连接层的输出由1000改成21，其他结构不变。训练结束后保存f7的特征。
  • 针对每个类别训练一个SVM的二分类器。输入是f7的特征，f7的输出维度是2000*4096，输出的是是否属于该类别，训练结果是得到SVM的权重矩阵W，W的维度是4096*20。这里负样本的选定和前面的有所不同，将IOU的阈值从0.5改成0.3，即IOU<0.3的是负样本，正样本是Ground Truth。IOU的阈值选择和前面fine-tuning不一样，主要是因为：前面fine-tuning需要大量的样本，所以设置成0.5会比较宽松。而在SVM阶段是由于SVM适用于小样本，所以设置0.3会更严格一点。
  • 回归。用pool5的特征6*6*256维和bounding box的ground truth来训练回归，每种类型的回归器单独训练。输入是pool5的特征，以及每个样本对的坐标和长宽值。另外只对那些跟ground truth的IOU超过某个阈值且IOU最大的proposal回归，其余的region proposal不参与。详细说一下：对于某个region proposal：R，以及其对应的Ground truth：G，我们希望预测结果是：P，那么我们肯定希望P尽可能接近G。这里通过对pool5层的特征X做线性变换WX得到变换函数F（X），这些变换函数作用于R的坐标达到回归的作用（包括对x，y的平移以及对w，h的缩放）。因此损失函数可以表达为：R和G的差距减去P和G的差距要尽可能小。

R-CNN的测试可以分成以下步骤：

  • 输入一张图像，利用selective search得到2000个region proposal。

  • 对所有region proposal变换到固定尺寸并作为已训练好的CNN网络的输入，得到f7层的4096维特征，所以f7层的输出是2000*4096。

  • 对每个类别，采用已训练好的这个类别的svm分类器对提取到的特征打分，所以SVM的weight matrix是4096*N，N是类别数，这里一共有20个SVM，N=20注意不是21。得分矩阵是2000*20，表示每个region proposal属于某一类的得分。

  • 采用non-maximun suppression（NMS）对得分矩阵中的每一列中的region proposal进行剔除，就是去掉重复率比较高的几个region proposal，得到该列中得分最高的几个region proposal。NMS的意思是：举个例子，对于2000*20中的某一列得分，找到分数最高的一个region proposal，然后只要该列中其他region proposal和分数最高的IOU超过某一个阈值，则剔除该region proposal。这一轮剔除完后，再从剩下的region proposal找到分数最高的，然后计算别的region proposal和该分数最高的IOU是否超过阈值，超过的继续剔除，直到没有剩下region proposal。对每一列都这样操作，这样最终每一列（即每个类别）都可以得到一些region proposal。

  • 用N=20个回归器对第4步得到的20个类别的region proposal进行回归，要用到pool5层的特征。pool5特征的权重W是在训练阶段的结果，测试的时候直接用。最后得到每个类别的修正后的bounding box。

  • 四 优缺点

    尽管R-CNN的识别框架与传统方法区别不是很大，但是得益于CNN优异的特征提取能力，R-CNN的效果还是比传统方法好很多。如在VOC2007数据集上，传统方法最高的平均精确度mAp为40%左右，而R-CNN的mAp达到了58.5%。

    R-CNN的缺点是计算量大。R-CNN流程较多，包括region proposal的选取，训练卷积神经网络（softmax classifier，log loss），训练SVM（hinge loss）和训练 regressor（squared loss），这使得训练时间非常长（84小时），占用磁盘空间也大。在训练卷积神经网络的过程中对每个region proposal都要计算卷积，这其中重复的太多不必要的计算，试想一张图像可以得到2000多个region proposal，大部分都有重叠，因此基于region proposal卷积的计算量太大，而这也正是之后Fast R-CNN主要解决的问题。

     

    参考文章

    [1]R-CNN算法详解

    [2]RCNN算法详解

    [3]http://www.robots.ox.ac.uk/~tvg/publications/talks/fast-rcnn-slides.pdf 

    [4]R-CNN详解

    [5]R-CNN论文详解(推荐，讲解很详细)

    [6]Rich feature hierarchies for accurate object detection and semantic segmentation

    [7]基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN(强烈推荐)

    [8]目标检测（1）-Selective Search

    [9]https://github.com/AlpacaDB/selectivesearch(代码)

    [10]目标检测（2）-RCNN

PyTorch深度学习实战（19）——从零开始实现R-CNN目标检测
盼小辉丶的博客
10-07 9373
R-CNN (Region-based Convolutional Neural Network) 是 R-CNN 系列目标检测算法的初代模型，其将“深度学习”和传统的“计算机视觉”的相结合，在深度学习的框架下实现了高效的物体检测和识别。R-CNN 的核心思想是将目标检测任务分解为候选区域提取、特征提取、目标分类和边界框回归四个步骤。R-CNN 中的 “Region-based” 指的就是区域提议(候选区域)，用于在图像中识别对象。在本节中，我们将利用区域提议来完成图像中目标对象的检测和定位。
【目标检测算法系列】一、R-CNN算法
u010057965的专栏
07-25 2195
R-CNN 是第一个成功将深度学习应用到目标检测上的算法，也是后续Fast R-CNN , Faster R-CNN等系列算法的鼻祖 一、R-CNN整体架构 R-CNN的全貌如下图所示 它主要分为4个模块 候选区域（region proposal）提取 一个大型的CNN网络用来特征提取 使用SVM分类模型进行类别分类 使用回归（Regression）模型进行具体定位 具体R...
(一)目标检测-R-CNN模型
MIge_的博客
09-11 2151
目标检测-R-CNN模型 在CVPR 2014年中Ross Girshick提出R-CNN。 1.1 完整R-CNN结构 不使用暴力方法，而是用候选区域方法（region proposal method）,创建目标检测的区域改变了图像领域实现物体检测的模型思路，R-CNN是以深度神经网络为基础的物体检测的模型 ，R-CNN在当时以优异的性能令世人瞩目，以R-CNN为基点，后续的SPPNet、Fast R-CNN、Faster R-CNN模型都是照着这个物体检测思路。 步骤（以AlexNet网络.
目标检测算法（一）RCNN
冒个泡儿的博客
05-13 489
深度学习的目标检测： 数据驱动进行表示学习 根据训练数据自适应构建特征提取器 缺点： 需要大量有标注数据 学习过程和所学到的表示难以解释 高度非线性 RCNN关键词： 1候选框 selective research 2对于候选框的分类与回归 流程： image--->产生近2000个候选框--->对每个候选框输入到卷积网络--->CNN后的特征分别放入BBO...
RCNN代码实现目标自动识别和人脸识别
12-08
实现RCNN的源码，主要用于进行目标自动识别和人脸识别
第二十九节，目标检测算法之R-CNN算法详解
weixin_30439131的博客
07-01 396
Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2014. R-CNN的全...
cnn算法
weixin_30533797的博客
03-08 1117
机器学习算法完整版见fenghaootong-github 卷积神经网络原理(CNN) 卷积神经网络CNN的结构一般包含这几个层： 输入层：用于数据的输入 卷积层：使用卷积核进行特征提取和特征映射 激励层：由于卷积也是一种线性运算，因此需要增加非线性映射 池化层：进行下采样，对特征图稀疏处理，减少数据运算量。 全连接层：通常在CNN的尾部进行重新拟合，减少特征...
【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列一：R-CNN图文详解
CV在读
03-13 1753
是一种常用于目标检测的候选区域生成方法。在传统的目标检测算法中，需要对图像中的每个可能包含目标的区域进行检测，但这样做会导致计算量巨大，尤其是在图像具有大量区域时。Selective Search的目标是通过一种高效的方式生成一组可能包含目标的区域，以减少后续目标检测算法的计算复杂度。Selective Search算法的核心思想是通过结合不同的图像特征（如颜色、纹理、大小等）来生成候选区域。具体来说，
【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列三：Faster R-CNN图文详解
CV在读
03-18 1545
在图像上预设好的不同大小，不同长宽比的参照框。论文中设定每个区域可以生成k个anchor box。可以看到。
【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列二：Fast R-CNN图文详解
CV在读
03-13 2913
论文中从2000个候选框中选择64个候选框进行训练使用，其中如果与真实目标边界框的IOU值>0.5，则被认定为正样本，负样本则是与真实候选框的IOU值最大的且在(0.1 , 0.5]范围内的。
《Python机器学习基础教程》第十二章计算机视觉基础12.8 深度解析：目标检测算法（R-CNN、Fast R-CNN、Faster R-CNN、YOLO和SSD）及其应用场景
最新发布
03-31 1563
目标检测是计算机视觉中的一个基本任务，其目的是在图像或视频中识别并定位多个对象。目标检测不仅需要识别出图像中的物体类别，还需要确定它们的位置和大小。这通常通过边界框（bounding box）来表示。R-CNN（Region-based Convolutional Neural Networks）是由Ross Girshick等人在2014年提出的，它将选择性搜索（Selective Search）与卷积神经网络相结合，实现了端到端的目标检测。
经典目标检测算法详解（R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、YOLO、SSD）
tigerlib的博客
11-19 6098
1 目标检测算法分类 两步走的目标检测：先进行区域推荐，而后进行目标分类 代表：R-CNN、SPP-net、Fast R-CNN、Faster R-CNN 端到端的目标检测：采用一个网络一步到位 代表：YOLO、SSD ...
CNN有关算法介绍
07-14
李宏毅关于CNN卷积神经网络的一些理论知识讲解，适于深度学习入门者。
RCNN目标检测算法
ziqingnian的博客
09-26 204
RCNN目标：希望能够用深度学习方法提取特征替代传统的手动设计的hog等特征 Rcnn网络结构： 其中 Slective search是一些传统的特征，颜色，尺寸等 Warped 是将选取的区域缩放到相同的尺寸 （是卷积神经网络的输入要求的大小） 具体过程： Slective search选取的图像区域输入CNN，通过卷积神经网络计算特征，特征是某个候选区域对应的特征 分类分支：使用特征训练多个SVM进行识别物体，每个SVM进行预测区域内是否包含某个物体 回归分支：通过区域特征训练..
【Object Detection】目标检测之RCNN算法详解
阿耀的博客
06-01 3154
文章目录1. 引言2. 算法总体思路3. 区域生成（Extract Region Proposals）4. 特征提取（Compute CNN Features）4.1. 网络结构设计4.2. 训练过程4.2.1. 有监督预训练4.2.2. 特定样本下微调（fine-tuning阶段）5. 分类器分类（Classify Regions）5.1 SVM训练5.2. 边界框回归（Bounding-box...
CNN算法
river_19的博客
09-09 939
卷积神经网络： 卷积神经网络与传统网络的区别： 整体架构： 图像颜色通道：每个颜色通道单独进行计算。
目标检测算法——R-CNN
Clichong
06-05 1328
1.R-CNN简介 R-CNN(Region with CNN feature) 文章的全称为：Rich feature hierarchies for accurate object detection andsemantic segmentation，原文链接 翻译过来就是针对高准确度的目标检测与语义分割的多特征层级，通俗地来讲就是一个用来做目标检测和语义分割的神经网络。 这篇论文发布时间是 2014 年，它具有很多比较重要的意义。 在 Pascal VOC 2012 的数据集上，能够将目标检测的验证
RCNN系列目标检测算法详解
荪荪的博客
10-25 2192
目录前言一、两阶段检测算法发展历程R-CNN ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201023163001392.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NNRjA1MDQ=,size_16,color_FFFFFF,t_70#pic_center)Fast R-CNNFaster R-CNN
Yolo系列目标检测算法详解：从R-CNN到Faster R-CNN
"本文主要探讨了目标检测领域的经典算法，特别是Yolo系列之前的R-CNN家族，包括R-CNN、Fast R-CNN、Faster R-CNN等。文章详细介绍了R-CNN的基本结构和工作原理，以及后续的改进方法，如SPP和ROI，以及Fast R-CNN和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值