深度学习-目标检测(一)-R-CNN

已于 2024-09-10 12:34:14 修改
阅读量1.1k 收藏 24
点赞数 22
分类专栏： 深度学习 机器视觉 文章标签： 深度学习 目标检测 cnn 人工智能 算法
于 2024-09-10 11:28:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73426548/article/details/142069981
版权

目录

一：目标检测-Overfeat模型

1.滑动窗口

二：目标检测R-CNN模型

1.R-CNN结构

1.步骤（以AlexNet网络为基准） 

2.候选区域

3.Crop+Warp

4.CNN网络提取特征

5.特征向量训练分类器SVM

三：R-CNN训练过程 

1.训练正负样本准备

2.预训练

3.微调

4.SVM分类器

5.BBox回归器训练

 四：R-CNN测试过程

五：总结

 缺点：

 六：SPPNet

1.映射

2.spatial pyramid pooling

 都看到这里了，点个赞把！！！

一：目标检测-Overfeat模型

1.滑动窗口

目标检测的暴力方法是从左到右、从上到下滑动窗口，利用分类识别目标。为了在不同观察距离处检测不同的目标类型，我们使用不同大小和宽高比的窗口。如下图所示：

 这样就变成每张子图片输出类别以及位置，变成分类问题。但是滑动窗口需要初始设定一个固定大小的窗口，这就遇到了一个问题，有些物体适应的框不一样，所以需要提前设定K个窗口，每个窗口滑动提取M个，总共K x M 个图片，通常会直接将图像变形转换成固定大小的图像，变形图像块被输入 CNN 分类器中，提取特征后，我们使用一些分类器识别类别和该边界框的另一个线性回归器。

这种方法类似一种暴力穷举的方式，会消耗大量的计算力量，并且由于窗口大小问题可能会造成效果不准确

但是提供了一种解决目标检测问题的思路

二：目标检测R-CNN模型

1.R-CNN结构

 不使用暴力方法，而是用候选区域方法（region proposal method）,创建目标检测的区域改变了图像领域实现物体检测的模型思路，R-CNN是以深度神经网络为基础的物体检测的模型 ，R-CNN在当时以优异的性能令世人瞩目，以R-CNN为基点，后续的SPPNet、Fast R-CNN、Faster R-CNN模型都是照着这个物体检测思路。

1.步骤（以AlexNet网络为基准） 

1.找出图片中可能存在目标的候选区域region proposal

2.进行图片大小调整为了适应AlexNet网络的输入图像的大小227*227，通过CNN对候选区域提取特征向量，2000个建议框的CNN特征组合成2000*4096维矩阵

3.将2000*4096维特征与20个SVM组成的权值阵4096*20相乘（20种分类，SVM是二分类器，则有20个SVM），获得2000*20维矩阵

4.分别对2000*20维矩阵中每一列即每一类进行非极大值抑制（NMS:non-maximum suppression）剔除重叠建议框，得到该列即该类中得分最高的一些建议框

5.修正bbox，对bbox做回归微调

2.候选区域

选择性搜索（SelectiveSearch，SS）中，首先将每个像素作为一组。然后，计算每一组的纹理，并将两个最接近的组结合起来。但是为了避免单个区域吞噬其他区域，我们首先对较小的组进行分组。我们继续合并区域，直到所有区域都结合在一起。下图第一行展示了如何使区域增长，第二行中的蓝色矩形代表合并过程中所有可能的 ROI。

 SelectiveSearch在一张图片上提取出来约2000个侯选区域，需要注意的是这些候选区域的长宽不固定。 而使用CNN提取候选区域的特征向量，需要接受固定长度的输入，所以需要对候选区域做一些尺寸上的修改。

3.Crop+Warp

传统的CNN限制了输入必须固定大小，所以在实际使用中往往需要对原图片进行crop或者warp的操作

  • crop：截取原图片的一个固定大小的patch
  • warp：将原图片的ROI缩放到一个固定大小的patch

无论是crop还是warp，都无法保证在不失真的情况下将图片传入到CNN当中。会使用一些方法尽量让图片保持最小的变形。

  • 1.各向异性缩放：即直接缩放到指定大小，这可能会造成不必要的图像失真

  • 2.各向同性缩放：在原图上出裁剪侯选区域， (采用侯选区域的像素颜色均值)填充到指定大小在边界用固定的背景颜色

4.CNN网络提取特征

再候选区域的基础上提取出更高级，更抽象的特征，这些高级特征是作为下一步的分类器，回归的输入数据

提取的这些特征将会保存再磁盘中（这些提取的特征才是真正的要训练的数据）

5.特征向量训练分类器SVM

假设一张图片2000个候选区，那么提取出来的就是2000*4096这样的特征向量（R-CNN中默认CNN层输出4096特征向量）。那么最后需要对这些特征进行分类，R-CNN选用SVM进行二分类。假设检测N个类别，那么会提供N个不同类别的SVM分类器，每个分类器都会对2000个候选区的特征向量分别判断一次，这样得出[2000，N]的得分矩阵。

 每个SVM分类器都要判别这2000个候选区是某类别，还是背景

6.非最大抑制（NMS）

目的：筛选候选区，得到最终候选区域结果

迭代过程：对所有的2000个候选区域得分进行概率筛选，然后对剩余的候选框，每个类别进行loU（交并比）>=0.5筛选

假设现在滑动窗口有：ABCD四个框

第一轮：假设B是得分最高的，与B的loU>0.5删除，现在与B计算loU，DE结果>0.5，剔除DE，B作为一个预测结果

第二轮：AC中，A的得分最高，与A计算loU，C>0.5，剔除C，A作为一个结果

最终筛选出A和B

7.修正候选区域

那么通过非最大抑制筛选出来的一定非常准确吗？R-CNN提供了这样一个方法，建立一个bbox regressor，用于回归修正筛选后的候选区域，使之回归用于ground-truth，默认认为这两个框之间是线性关系，因为这是最后筛选出来的候选区域和ground-truth很接近了

修正过程：

三：R-CNN训练过程 

 R-CNN的训练过程这些部分，正负样本准备+预训练+微调网络+训练SVM+训练边框回归器

1.训练正负样本准备

对于训练集中的所有图像，采用selective search方式来获取，最后每个图像得到2000个region proposal。但是每个图像不是所有的候选区域都会拿去训练

 这样得出若干个候选区域以及对应的标记结果

2.预训练

CNN模型层数多，模型的容量大,通常会采用2012年的著名网络AlexNet来学习特征，包含5个卷积层和2个全连接层，利用大数据集训练一个分类器，比如著名的ImageNet比赛的数据集，来训练AlexNet，保存其中的模型参数。

3.微调

AlexNet是针对ImageNet训练出来的模型，卷积部分可以作为一个好的特征提取器，后面的全连接层可以理解为一个好的分类器。R-CNN需要在现有的模型上微调卷积参数。

4.SVM分类器

针对每个类别训练一个SVM的而分类器。比如：猫的SVM分类器，输入维度是2000*4096，目标还是之前第一步标记是否属于该类别猫，训练结果是得到SVM的权重矩阵W，W的维度是4096*20

5.BBox回归器训练

只对那些跟ground truth的IoU超过某个阈值且IOU最大的region proposal回归，其余的region proposal不参与。

 四：R-CNN测试过程

1.输入一张图像，利用selective search得到2000个region proposal

2.对所有region proposal变换到固定尺寸并作为以训练好的CNN网络的输入，每个复选框得到4096维特征

3.采用已训练好的每个类别的svm分类器对提取到的特征打分，所以SVM的weight matrix是4096 N，N是类别数，这里一共有20个SVM， 得分矩阵是200020

4.采用non-maximun suppression（NMS）去掉候选框

5.第上一步得到region proposal进行回归

五：总结

 缺点：

  • 1、训练阶段多：步骤繁琐: 微调网络+训练SVM+训练边框回归器。

  • 2、训练耗时：占用磁盘空间大：5000张图像产生几百G的特征文件。（VOC数据集的检测结果，因为SVM的存在）

  • 3、处理速度慢: 使用GPU, VGG16模型处理一张图像需要47s。

  • 4、图片形状变化：候选区域要经过crop/warp进行固定大小，无法保证图片不变形

 六：SPPNet

SPPNet主要有两点改进：1.减少卷积计算，2.防止图片内容变形

1.映射

 原始图片经过CNN变成了feature map,原始图片通过选择性搜索（SS）得到了候选区域，现在需要将基于原始图片的候选区域映射到feature map中的特征向量。映射过程图参考如下：

 假设(x′,y′)(x′,y′)表示特征图上的坐标点，坐标点(x,y)表示原输入图片上的点，那么它们之间有如下转换关系，这种映射关心与网络结构有关：(x,y)=(S∗x′,S∗y′)

左上角的点：x′=[x/S]+1

右下角的点：x′=[x/S]-1 

S是CNN中所有步数的乘积，包括了池化中的步数，卷积中的步数

2.spatial pyramid pooling

通过spatial pyramid pooling 将任意大小的特征图转换成固定大小的特征向量

示例：假设原图输入是224x224，对于conv出来后的输出是13x13x256的，可以理解成有256个这样的Filter，每个Filter对应一张13x13的feature map。接着在这个特征图中找到每一个候选区域映射的区域，spp layer会将每一个候选区域分成1x1，2x2，4x4三张子图，对每个子图的每个区域作max pooling，得出的特征再连接到一起，就是(16+4+1)x256的特征向量,接着给全连接层做进一步处理，如下图：

 都看到这里了，点个赞把！！！

Mr终游
关注
专栏目录
PyTorch深度学习实战（19）——从零开始实现R-CNN目标检测
盼小辉丶的博客
10-07 3819
R-CNN (Region-based Convolutional Neural Network) 是 R-CNN 系列目标检测算法的初代模型，其将“深度学习”和传统的“计算机视觉”的相结合，在深度学习的框架下实现了高效的物体检测和识别。R-CNN 的核心思想是将目标检测任务分解为候选区域提取、特征提取、目标分类和边界框回归四个步骤。R-CNN 中的 “Region-based” 指的就是区域提议(候选区域)，用于在图像中识别对象。在本节中，我们将利用区域提议来完成图像中目标对象的检测和定位。
目标检测：R-CNN
flyingzhao
12-17 4107
《Rich feature hierarchies for accurate object detection and semantic segmentation》论文解读目标检测问题就是从图片中检测出目标的位置并判断目标的类别，比如人脸检测问题。不过人脸检测问题只是一种专门针对人脸的检测问题，而本文提出的R-CNN是通用目标检测问题，针对20类目标的检测。通用目标检测问题只需要进行适当修改就可以应
R-CNN(目标检测算法)介绍
Sea__c的博客
10-22 4011
因为一个框可以用四个值来表示（x,y,w,h）分别是框的中心点横坐标，中心点纵坐标，宽，高。由于物体标签训练数据少，如果要直接采用随机初始化CNN参数的方法,目前的训练数据量是不够的. 基于此，采用有监督的预训练，使用一个大的数据集（ImageNet )来训练AlexNet，得到一个1000分类的预训练（Pre-trained）模型。目标检测不仅需要确定目标的类别，还要找到目标在图像中的位置.由于各类目标不同的外观，颜色，大小以及在成像时光照，遮挡等具有挑战性的问题，目标检测一直处于不断的优化和研究中.
目标检测 | R-CNN、Fast R-CNN与Faster R-CNN理论讲解
houjingchuan的博客
05-29 3346
目标检测：R-CNN、Fast R-CNN与Faster R-CNN理论讲解，根据B站up霹雳吧啦Wz总结。此文章包含R-CNN算法原理讲解、Fast R-CNN算法原理讲解、Faster R-CNN原理讲解、目标检测评价指标介绍与特征金字塔网络FPN讲解。
Faster R-CNN Keras 点目标检测实战
最新发布
weixin_42602726的博客
08-27 568
本文还有配套的精品资源，点击获取 简介：Faster R-CNN是一种先进的目标检测算法，本项目“faster-rcnn-keras-master”是针对Keras框架实现的Faster R-CNN模型，用于解决点目标检测的问题。点目标检测对精度要求极高，Faster R-CNN通过区域提议网络（RPN）和多尺度特征金字塔网络（FPN）增强了对不同大小目标的检测性能。本项目...
【目标检测】RCNN算法详解
热门推荐
shenxiaolu1984的专栏
04-05 22万+
深度学习用于目标检测的RCNN算法
【目标检测】RCNN
06-04 304
前言 RCNN Rich feature hierarchies for accurate object detection and semantic segmentation（2014 CVPR） 作者：Ross Girshick (RBG) 流程图： 特点 1、RCNN是利用深度学习进行目标检测的开山之作，首次将CNN运用到目标检测问题上。 2、用选择搜索...
目标检测-RCNN
念去去的博客
12-06 337
rcnn首先会做一个region proposal，也就是任意的找到一些疑似完整物体的区域，这一步是任意的，根据梯度信息找到一些边缘，然后就圈出来了。这一步会找到非常多的区域作为候选框，给接下来的分类提供素材。论文说的是找了两千多个 接着把那些候选框一个一个输入神经网络，算出特征 接着把算出的特征交给svm去做分类，得到分类与置信度。 最后每个类别在训练出四个向量，保证预测的时候特征这四个向量可...
目标检测RCNN
weixin_43082343的博客
08-12 400
目标检测的RCNN算法， 原文地址：https://arxiv.org/pdf/1311.2524.pdf RCNN将候选区域（region proposal）与 CNN 结合，分为四个步骤： 原论文中的结构图：
R-CNN论文详解
WoPawn的博客
08-05 5万+
Rich feature hierarchies for accurate object detection and semantic segmentation
目标检测之R-CNN
cengjing12的博客
08-15 690
RCNN (论文：Rich feature hierarchies for accurate object detection and semantic segmentation) 是将CNN方法引入目标检测领域， 大大提高了目标检测效果，可以说改变了目标检测领域的主要研究思路 RCNN https://github.com/rbgirshick/rcnn Fast RCNN https://github.com/rbgirshick/fast-rcnn Faster RCNN https://github
深度学习的目标检测技术演进：R-CNN、FastR-CNN、FasterR-CNN
02-25
本文来自于个人微博，本文介绍基于regionproposal的R-CNN系列目标检测方法是当前目标检测技术领域最主要的一个分支。objectdetection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object...
深度学习领域faster-r-cnn-pytorch算法目标检测口罩检测（带数据集）
05-27
深度学习领域faster-r-cnn-pytorch算法目标检测口罩检测（带数据集）。用于口罩面部识别。包含源码和数据集，python语言，可以作为参考。有数据集很好运行，主页有搭建环境过程。主页有更多源码。
深度学习-标注软件-labellmg标注软件-目标检测
01-24
LabelImg 是一个开源的图像标注工具，主要用于计算机视觉和机器学习项目中的目标检测任务。它提供了用户友好的图形界面，使得用户可以方便、高效地对图像中的对象进行框选和标签标注。 主要特点包括： 1. **跨平台...
目标检测—RCNN系列
weixin_44768052的博客
04-09 4788
工程应用中，检测算法以one-stage算法yolo系列等为主，因为one-stage通常来说速度快，可以完成良好的实时检测。 本文回顾的是two-stage算法:RCNN系列 One-stage and two-stage: one-stage: 直接回归物体的类别概率和位置坐标值（无region pr...
R-CNN
Gavin的专栏
02-12 251
R-CNN framework 下图展示了R-CNN检测框架的流程。 1. 输入图片； 2. 对输入图片应用selective search算法，产生约2,000个region proposals（实际为1565个，详见实验结果）； 3. 对所有的region proposals进行预处理，使其大小相等（277*277*3，详见CNN网络定义）。并将处理后的regi...
目标检测（Object Detection）
yegeli的博客
11-20 21万+
文章目录目标检测（Object Detection）一、基本概念1. 什么是目标检测2. 目标检测的核心问题3. 目标检测算法分类1）Tow Stage2）One Stage4. 目标检测应用1）人脸检测2）行人检测3）车辆检测4）遥感检测二、目标检测原理1. 候选区域产生1）滑动窗口2）选择性搜索① 什么是选择性搜索② 选择搜索流程③ 选择搜索优点2. 数据表示3. 效果评估4. 非极大值抑制三、目标检测模型1. R-CNN系列1）R-CNN① 定义② 流程③ 效果④ 缺点2）Fast R-CNN① 定义
目标检测（深度学习）
qq_44747572的博客
10-30 1216
https://bbs.cvmart.net/articles/4992 https://www.jiqizhixin.com/articles/2020-03-09-2 https://zhuanlan.zhihu.com/p/34142321 https://segmentfault.com/a/1190000022285081
R-CNN、fast-R-CNN、faster-R-CNN、mask-R-CNN介绍
03-01
R-CNN（Region-based Convolutional Neural Networks）是一种目标检测算法，它通过两个阶段来检测图像中的目标物体。首先，R-CNN使用选择性搜索（Selective Search）算法生成一系列候选区域，然后对每个候选区域进行卷积神经网络（CNN）特征提取和分类。R-CNN的主要缺点是速度较慢，因为每个候选区域都需要独立地进行CNN特征提取和分类。 Fast R-CNN是对R-CNN的改进，它通过引入RoI池化层（Region of Interest pooling）来解决R-CNN中重复计算的问题。RoI池化层可以将不同大小的候选区域映射为固定大小的特征图，从而使得所有候选区域可以共享相同的特征提取过程。这样一来，Fast R-CNN相比于R-CNN具有更快的速度。 Faster R-CNN是对Fast R-CNN的进一步改进，它引入了一个称为Region Proposal Network（RPN）的子网络来生成候选区域。RPN通过滑动窗口在特征图上提取候选区域，并为每个候选区域分配一个得分，然后根据得分进行筛选和排序。这种端到端的训练方式使得Faster R-CNN在目标检测任务上具有更高的准确性和更快的速度。 Mask R-CNN是在Faster R-CNN的基础上进一步发展的，它不仅可以进行目标检测，还可以进行实例分割。Mask R-CNN在Faster R-CNN的基础上增加了一个分支网络，用于预测每个候选区域中目标物体的像素级掩码。这使得Mask R-CNN能够同时获得目标的位置信息和像素级别的语义信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值