目标检测（一）——R-CNN

最新推荐文章于 2022-11-10 18:42:26 发布
最新推荐文章于 2022-11-10 18:42:26 发布
阅读量543 收藏 2
点赞数
分类专栏： 深度学习 文章标签： 目标检测 R-CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/abc_138/article/details/83381365
版权

arxiv: http://arxiv.org/abs/1311.2524 
github: https://github.com/rbgirshick/rcnn 

一 R-CNN
R-CNN（R. Girshick et al., 2014）是基于region proposal方法的目标检测算法系列开山之作，其先进行区域搜索，然后再对候选区域进行分类。在R-CNN中，选用Selective search方法（J.R.R. Uijlings and al. 2012）来生成候选区域，这是一种启发式搜索算法。它先通过简单的区域划分算法将图片划分成很多小区域，然后通过层级分组方法按照一定相似度合并它们，最后的剩下的就是候选区域（region proposals），它们可能包含一个物体。
选择性搜索(Selective Search)
step0：生成区域集R 
step1：计算区域集R里每个相邻区域的相似度S={s1,s2,…} (颜色、纹理、尺寸和空间) 
step2：找出相似度最高的两个区域，将其合并为新集，添加进R 
step3：从S中移除所有与step2中有关的子集 
step4：计算新集与所有子集的相似度 
step5：跳至step2，直至S为空

二、算法简述
本文数据集采用pascal VOC，这个数据集的object一共有20个类别。首先用select search方法在每张图像上选取约2000个region proposal，region proposal就是object有可能出现的位置。然后根据这些region proposal构造训练和测试样本，注意这些region proposal的大小不一，另外样本的类别是21个（包括了背景）。然后是预训练，即在ImageNet数据集下，用AlexNet进行训练。然后再在我们的数据集上fine-tuning，网络结构不变（除了最后一层输出由1000改为21），输入是前面的region proposal进行尺寸变换到一个统一尺寸227*227，保留f7的输出特征2000*4096维。针对每个类别（一共20类）训练一个SVM分类器，以f7层的输出作为输入，训练SVM的权重4096*20维，所以测试时候会得到2000*20的得分输出，且测试的时候会对这个得分输出做NMS（non-maximun suppression），简单讲就是去掉重复框的过程。同时针对每个类别（一共20类）训练一个回归器，输入是pool5的特征和每个样本对的坐标即长宽。

                                                            R-CNN模型结构图

三、算法详解
训练过程：

1、准备region proposal。对于训练集中的所有图像，采用selective search方式来获取，最后每个图像得到2000个region proposal。

2、准备正负样本。如果某个region proposal和当前图像上的所有ground truth中重叠面积最大的那个的IOU大于等于0.5，则该region proposal作为这个ground truth类别的正样本，否则作为负样本。另外正样本还包括了Ground Truth。因为VOC一共包含20个类别，所以这里region proposal的类别为20+1=21类，1表示背景。简单说下IOU的概念，IOU是计算矩形框A、B的重合度的公式：IOU=(A∩B)/(A∪B)，重合度越大，说明二者越相近。

3、预训练。这一步主要是因为检测问题中带标签的样本数据量比较少，难以进行大规模训练。采用的是Krizhevsky在2012年的著名网络AlexNet来学习特征，包含5个卷积层和2个全连接层，在Caffe框架下利用ILSVRC 2012的数据集进行预训练，其实就是利用大数据集训练一个分类器，这个ILSVRC 2012数据集就是著名的ImageNet比赛的数据集，也是彩色图像分类。

4、fine-tuning。将2中得到的样本进行尺寸变换，使得大小一致，这是由于2中得到的region proposal大小不一，所以需要将region proposal变形成227*227。本文中对所有不管什么样大小和横纵比的region proposal都直接拉伸到固定尺寸。然后作为3中预训练好的网络的输入，继续训练网络，继续训练其实就是迁移学习。另外由于ILSVRC 2012是一个1000类的数据集，而本文的数据集是21类（包括20个VOC类别和一个背景类别），迁移的时候要做修改，将最后一个全连接层的输出由1000改成21，其他结构不变。训练结束后保存f7的特征。

5、针对每个类别训练一个SVM的二分类器。输入是f7的特征，f7的输出维度是2000*4096，输出的是是否属于该类别，训练结果是得到SVM的权重矩阵W，W的维度是4096*20。这里负样本的选定和前面的有所不同，将IOU的阈值从0.5改成0.3，即IOU<0.3的是负样本，正样本是Ground Truth。IOU的阈值选择和前面fine-tuning不一样，这里链接3的解释是：前面fine-tuning需要大量的样本，所以设置成0.5会比较宽松。而在SVM阶段是由于SVM适用于小样本，所以设置0.3会更严格一点。

6、回归。用pool5的特征6*6*256维和bounding box的ground truth来训练回归，每种类型的回归器单独训练。输入是pool5的特征，以及每个样本对的坐标和长宽值。另外只对那些跟ground truth的IOU超过某个阈值且IOU最大的proposal回归，其余的region proposal不参与。具体参考链接3。详细说一下：对于某个region proposal：R，以及其对应的Ground truth：G，我们希望预测结果是：P，那么我们肯定希望P尽可能接近G。这里通过对pool5层的特征X做线性变换WX得到变换函数F（X），这些变换函数作用于R的坐标达到回归的作用（包括对x，y的平移以及对w，h的缩放）。因此损失函数可以表达为：R和G的差距减去P和G的差距要尽可能小。

看到有的视频上这样讲解，通过图来更清晰：

步骤一：训练（或者下载）一个分类模型（比如AlexNet）

步骤二：对该模型做fine-tuning
　　• 将分类数从1000改为20
　　• 去掉最后一个全连接层


步骤三：特征提取
　　• 提取图像的所有候选框（选择性搜索）
　　• 对于每一个区域：修正区域大小以适合CNN的输入，做一次前向运算，将第五个池化层的输出（就是对候选框提取到的特征）存到硬盘

步骤四：训练一个SVM分类器（二分类）来判断这个候选框里物体的类别
每个类别对应一个SVM，判断是不是属于这个类别，是就是positive，反之nagative
比如下图，就是狗分类的SVM


步骤五：使用回归器精细修正候选框位置：对于每一个类，训练一个线性回归模型去判定这个框是否框得完美。

 

测试过程：

1、输入一张图像，利用selective search得到2000个region proposal。

2、对所有region proposal变换到固定尺寸并作为已训练好的CNN网络的输入，得到f7层的4096维特征，所以f7层的输出是2000*4096。

3、对每个类别，采用已训练好的这个类别的svm分类器对提取到的特征打分，所以SVM的weight matrix是4096*N，N是类别数，这里一共有20个SVM，N=20注意不是21。得分矩阵是2000*20，表示每个region proposal属于某一类的得分。

4、采用non-maximun suppression（NMS）对得分矩阵中的每一列中的region proposal进行剔除，就是去掉重复率比较高的几个region proposal，得到该列中得分最高的几个region proposal。NMS的意思是：举个例子，对于2000*20中的某一列得分，找到分数最高的一个region proposal，然后只要该列中其他region proposal和分数最高的IOU超过某一个阈值，则剔除该region proposal。这一轮剔除完后，再从剩下的region proposal找到分数最高的，然后计算别的region proposal和该分数最高的IOU是否超过阈值，超过的继续剔除，直到没有剩下region proposal。对每一列都这样操作，这样最终每一列（即每个类别）都可以得到一些region proposal。

5、用N=20个回归器对第4步得到的20个类别的region proposal进行回归，要用到pool5层的特征。pool5特征的权重W是在训练阶段的结果，测试的时候直接用。最后得到每个类别的修正后的bounding box。
 

R-CNN缺点：

         (1) 训练分为多个阶段，步骤繁琐: 微调网络+训练SVM+训练边框回归器
         (2) 训练耗时，占用磁盘空间大：5000张图像产生几百G的特征文件
         (3) 速度慢: 使用GPU, VGG16模型处理一张图像需要47s。

         (4) 测试速度慢：每个候选区域需要运行整个前向CNN计算
         (5) SVM和回归是事后操作：在SVM和回归过程中CNN特征没有被学习更新

 

参考资料

1 https://blog.csdn.net/u014380165/article/details/72851035

2 https://www.cnblogs.com/skyfsm/p/6806246.html

3 https://blog.csdn.net/xiaohu2022/article/details/79600037

4 https://blog.csdn.net/qq_35451572/article/details/80273088

cxykk1217
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyTorch深度学习实战（19）——从零开始实现R-CNN目标检测
盼小辉丶的博客
10-07 3272
R-CNN (Region-based Convolutional Neural Network) 是 R-CNN 系列目标检测算法的初代模型，其将“深度学习”和传统的“计算机视觉”的相结合，在深度学习的框架下实现了高效的物体检测和识别。R-CNN 的核心思想是将目标检测任务分解为候选区域提取、特征提取、目标分类和边界框回归四个步骤。R-CNN 中的 “Region-based” 指的就是区域提议(候选区域)，用于在图像中识别对象。在本节中，我们将利用区域提议来完成图像中目标对象的检测和定位。
R-CNN算法详解
AI之路
06-03 2万+
这是一篇比较早的Object Detection算法，发表在2014年的CVPR，也是R-CNN系列算法的开山之作，网上可以搜到很多相关的博客讲解，本篇博文没有按论文顺序来讲述，而是结合自己经验来看这个算法，希望给初学者一个直观的感受，细节方面不需要太纠结，因为很多部分在后来的算法中都改进了。论文：Rich feature hierarchies for accurate object detect
R-CNN 详解
A_fearless_engineer的博客
11-10 1824
R-CNN
R-CNN详解
qq_52053775的博客
05-23 2871
本篇文章为R-CNN的总结，R-CNN论文精读详见我的博客： 论文精读：R-CNN:Rich feature hierarchies for accurate object detection and semantic segmentation..._梦回沈园外的博客-CSDN博客1.论文核心我们提出了一种简单且可扩展的检测算法，相对于之前对VOC2012的最佳结果，它将平均平均精度(mAP)提高了30%以上——实现了53.3%的mAP。我们的方法结合了两个关键的见解：（1）可以应用高容量卷积神经网络(.
R-CNN算法
大彤小忆的博客
01-03 2729
  R-CNN算法可以说是利用深度学习进行目标检测的开山之作。2012年AlexNet网络在ImageNet LSVRC中效果显著，因此R-CNN的作者想要尝试将AlexNet在图像分类上的能力迁移到PASCAL VOC的目标检测上。这就要解决两个问题： 如何利用卷积网络去目标定位； 如何在小规模的数据集上训练出较好的网络模型。   对于利用卷积网络去目标定位的问题，R-CNN利用候选区域(Region Proposal)的方法，这也是该网络被称为R-CNN的原因：Regions with CNN fe
目标检测篇——Faster R-CNN
weixin_43872060的博客
06-04 7191
目录1. Faster R-CNN理论1.1 R-CNN(Region with CNN feature)1.1.1 R-CNN概述1.1.2 R-CNN流程1.1.3 R-CNN框架1.1.4 R-CNN存在的问题1.2 Fast R-CNN1.2.1 Fast R-CNN概述1.2.2 Fast R-CNN流程1.2.3 Fast R-CNN损失函数1.2.4 Fast RCNN框架1.2.5 Fast RCNN存在的问题1.3 Faster R-CNN1.3.1 Faster R-CNN概述1.3.2
目标检测（二）—— R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN
qq_38622495的博客
09-06 2774
R-CNN 区域卷积神经网络（Regions with CNN features，简称 R-CNN）使用深度模型来解决物体识别。 具体步骤： Sective Search 。对每张输入图像使用选择性搜索来选取多个高质量的提议区域。 Resize。对每个提议区域，将其变形成卷积神经网络需要的输入尺寸。 特征抽取。选取一个预先训练好的卷积神经网络，去掉最后的输出层来作为特征抽取模块。 ...
目标检测——Mask R-CNN【请结合其他博客一起食用】
PRIS-SCMonkey的博客
03-22 8018
大家好 今天来到了我们Maskrcnn 的分享 由于MaskRCNN网络包含了很多之前介绍过的知识点，例如RPN，FPN，RoIPooling，RoIAlign，故这遍文章看上去显得比较‘单薄’，如果想弄清楚Mask RCNN网络，需要结合之前的博文一同食用~~ o(=•ェ•=)m 前言 本篇论文其实还是分割为主，但是目前我们的网络基础是分类和检测，知识积累还不够，所以如有分割问题解释...
目标检测算法（一）——R-CNN
封狼居胥
07-16 1166
一）简介   RCNN的全称是Region-CNN，是第一个成功将深度学习应用在目标检测上的算法，作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，2010年更带领团队获得终身成就奖。后续的Fast R-CNN、Faster R-CNN都是建立在RCNN上的。 二）R-CNN介绍   R-CNN遵循传统目标检测的思路，同样采取提取框、对每个框提取特征、图像分类、非极大值...
RCNN, Fast RCNN, Faster RCNN这一系列目标检测算法
11-10
RCNN, Fast RCNN, Faster RCNN这一系列目标检测算法训练的指导
R-CNN系算法
strive for the best 的博客
01-15 210
Part 1理论知识学习： 首先我学习了R-CNN系的几个主要算法， 1.R-CNN 我在上一周了解了目标检测的两个主要任务为物体的分类和定位。为了完成这两个任务，R-CNN的主要思想是利用计算机网络中滑动窗口的思想，采用对区域进行识别的方案。具体来说，就我理解应该是分以下四个步骤 一． 输入图片，用某种特定的算法提取出2000个类别独立的候选区 提取候选区。我们第一步的目的是获得2000个目标候选区域，有很多算法都可以完成这个任务，但是我看大多数用的好像都是一种叫Selective Search的算法，这
R-CNN算法原理
抛物线的博客
05-13 3612
R-CNN算法原理 对于一张图片当中多个目标，多个类别的时候。前面的输出结果是不定的，有可能是以下有四个类别输出这种情况。或者N个结果，这样的话，网络模型输出结构不定 所以需要一些他的方法解决目标检测（多个目标）的问题，试图将一个检测问题简化成分类问题 ①：目标检测-Overfeat模型 滑动窗口 目标检测的暴力方法是从左到右、从上到下滑动窗口，利用分类识别目标。为了在不同观察距离处检测...
R-CNN史上最全讲解
热门推荐
weixin_43702653的博客
04-06 6万+
R-CNN史上最全讲解
目标检测 之 R-CNN 超全详解
DFCED的博客
03-22 3157
在上一篇博客中介绍了目标检测的概念，发展历程，基本思路和步骤，以及目标检测精准度的评价指标，在这一篇博客中我们将着重介绍几个主流的 目标检测 算法。 五. R-CNN 算法 （图片来自网络） 5.1 简介 R-CNN的全称是Region-CNN，它可以说是是第一个成功将深度学习应用到目标检测上的算法。 传统的目标检测方法大多以图像识别为基础。 一般可以在图片上使用穷举法选出所所...
RCNN算法
Acmer_future_victor的博客
02-19 1443
Region CNN(RCNN)可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，2010年更带领团队获得终身成就奖，如今供职于Facebook旗下的FAIR。 这篇文章思路简洁，在DPM方法多年平台期后，效果提高显著。包括本文在内的一系列目标检测算法：RCNN, Fast RCNN, Faster RCNN代表当下目标检测的...
R-CNN系列算法介绍
weixin_39357271的博客
10-22 925
R-CNN系列算法
睿智的目标检测27——pytorch搭建faster r-cnn目标检测平台
最新发布
01-28
目标检测是计算机视觉领域的重要任务，而Faster R-CNN作为目标检测领域的经典算法之一，具有较高的检测精度和鲁棒性。在睿智的目标检测系列中，我们将使用PyTorch搭建一个基于Faster R-CNN的目标检测平台。 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值