RCNN

最新推荐文章于 2022-11-03 12:40:02 发布
最新推荐文章于 2022-11-03 12:40:02 发布
阅读量430 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41375318/article/details/103155284
版权

视频教程：B站、网易云课堂、腾讯课堂
代码地址：Gitee、Github
存储地址：
百度云-提取码：
Google云

https://github.com/Major357/Detection

  • -Model(pytorch版本

《Region-Based Convolutional Networks for Accurate Object Detection and Segmentation》
—基于RCNN的目标检测和分割
作者：Ross Girshick,etc
单位：Microsoft Research,UC Berkeley
发表会议及时间：ECCV 2014
Submission history

目标检测的难点：

1.目标可能出现在图像的任何位置。
2.目标有各种不同的大小。
3.目标可能有各种不同的形状。
4.目标可能被各种遮挡

  • RCNN（ECCV2014）:selective search ,根据颜色、边缘、纹理等快速找到可能存在的目标候选框架
  • Fast RCNN (ICCV2015):加入SPPNet,end to end 训练，使用了回归
  • Faster RCNN(NIPS2015):使用网络直接产生召回率高的Proposals：RPN网络
第一步第二步第三步运行时间缺点
RCNN提取候选框Selectivesearch对每个框提取特征Alexnet/VGG16对候选框进行分类SVM50s/张计算量大
Fast RCNN提取候选框Selectivesearch对整张图提取特征+ROIpooling解决尺度缩放问题+softmax分类2s/张Selectivesearch运行慢(计算量仍然大)
Faster RCNN对整张图提取特征提取候选框Region proposalnetwork(RPN)+ROl pooling解决尺度缩放问题+softmax分类0.2s/张ROl pooling不能做到精确定位

传统的目标检测流程

1.区域选择
例如滑动窗口(设置不同的大小尺寸，不同的长宽对图像进行遍历搜索)

2.特征提取
如SIFT,HOG

3.分类器分类
如SVM, adaboost算法。

  • Abstract

Object detection performance, as measured on the canonical PASCAL VOC Challenge datasets, plateaued in the final years of the competition.

The best-performing methods were complex ensemble systems that typically combined multiple low-level image features with high-level context.

In this paper, we propose a simple and scalable detection algorithm that improves mean average precision (mAP) by more than 50 percent relative to the previous best result on VOC 2012-achieving a mAP of 62.4 percent.

Our approach combines two ideas: (1) one can apply high-capacity convolutional networks (CNNs) to bottom-up region proposals in order to localize and segment objects and (2) when labeled training data are scarce, supervised pre-training for an auxiliary task, followed by domain-specific fine-tuning, boosts performance significantly.

Since we combine region proposals with CNNs, we call the resulting model an R-CNN or Region-based Convolutional Network.

Source code for the complete system is available at http://www.cs.berkeley.edu/~rbg/rcnn.

一 论文导读

RCNN之前的提取特征算法：

HOG,SIFT是什么?

都是用来做特征提取的算法

HOG算法

HOG(Histogram of Gradient)主要捕获轮廓信息
1.图片灰度化
2.进行Gamma矫正（降低图片局部阴影和光照变化的影响，同时抑制噪声)
3.将图片分割为一个个的小cell (cell之间不会有重叠)
4.相邻cell组成一个block(相邻block会有重叠cell)
5，计算每个cell中所有像素的梯度值，再以此扩大为block

SIFT(角点检测)

在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。
SIFT所查找到的关键点是一些十分突出,不会因光照,仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。
1.尺度空间极值检测
2.关键点定位
3.方向确定
4.关键点描述

1.最近10年以来，以人工经验特征为主导的物体检测任务mAP提升缓慢
2.随着ReLu激励函数、dropout正则化手段和大规模图像样本集ILSVRC的出现，在2012年ImageNet大规模视觉识别挑战赛中，Hinton及他的学生采用CNN特征获得了最高的图像识别精确度（Alexnet)
3.如果要定位很多个物体的话，有两个方法
1.将定位框视为回归问题2.使用滑动窗口探测器。这两种方式的局限性结合第
2个原因成为了本文被提出的开端-是否可以采用CNN特征来提高当前一直停滞不前的物体检测准确率。

什么是

有监督预训练和无监督预训练

非极大抑制（NMS)

从一系列识别同一物体的预测框中选出最佳预测框从一系列(iou>0.7）的区域中合并预测框

Selective search

通过视觉特征减少候选框的数量以提高精度

  • 适应不同的尺度

  • 多样化视觉特征
    使用纹理、颜色、大小分割好的区域并进行合并

  • 速度要求

Python中使用selective search直接pip install selevtivesearch

Selective search使用了区域合并算法
首先通过基于图像分割的算法初始化原始区域,将图像分为很多小块
然后使用贪心策略,计算每两个相邻区域的相似度然后每次合并最相似的两块,直到最终只剩下一块完整的图片
这时每次产生的图像块就被我们保存了下来

二 论文精读

RCNN的检测步骤

1.将图像作为输入

2.使用selective search提取ROI提取约2000个候选框

3.对这些区域尺寸进行调整，将每个区域传递给CNN网络
①各向异性缩放-227*227(破环原先图片比例)
②各向同性缩放
a.对ROI边界进行扩展成正方形再裁剪
b.先按原比例裁剪，再用固定的背景颜色填充成正方形图片

4.CNN为每个区域提取特征，SVM将这些区域为这些区域分类
使用alexnet提取特征,得到4096维的特征后，由2000个候选框的结果合并在一起得到一个2000*4096维的矩阵。
SVM分类是二分类器（0，1）即采用2000*4096维的矩阵与SVM的4096*20矩阵相乘。得到2000*20维矩阵,代表每一个候选框对应每一个候选类别的得分

5.最后使用边界框回归(bounding box regression)

在这里插入图片描述
红框是原始的预测框
绿色框是groundTruth
蓝色框是经过回归之后生成的框

1.有监督预训练
原因:带标签训练数据较少，不够使用随机初始化参数的方法办法:采用某种方式初始化参数，然后进行有监督的参数微调
操作:直接使用alexnet网络及其参数，采用随机梯度下降法，学习率0.01数据集:ILSVRC2012（仅有图像类别标签，没有图像物体位置标注)输出:每个输入候选框图片输出一个2096维的特征向量

2.finetune
问题:只通过有监督预训练得到的结果精度低
原因:不针对特定任务进行微调，只将CNN当作特征提取器的话, pool5得到的只是共性基础特征，后续的fc6,fc7层是针对特定样本的特征
操作:使用PASCAL VOC 2007，正样本为GT与IOU>0.5，学习率0.001，类别输出改为21

3.SVM训练
问题:SVM是2分类器，需要为每个类别训练单独的SVM。对于只包含部分目标的窗口如何界定正负样本?

操作:正样本只包含GT，通过实验得出将IOU阈值设为0.3时效果最好,当IOU小于0.3时将其标注为负样本。一旦特征抽取成功，SVM会对每个区域类别进行识别。这里使用hard example mining(困难样本挖掘)。

4.Bounding box regression
正样本选取∶与GT相交lOU最大的region proposal并且IOU>0.6的region proposal
操作:训练dx (P )，dy (P )，dw (P )， dh (P )四种变化操作的权重向量

什么是困难样本挖掘?

困难样本:错误的将样本分类为正样本。

如果把label分成负例说明这个分类器模型不够好。主要的问题还是庞大的negative里面有些令分类器难以分辨的物体（false positive) 。

通俗点说:有很多正确的样本被错误的识别为负样本表现形式:识别到的正样本数量远小于负样本数量

操作:将这些被错误识别的正样本判定为hard negative，再次进行训练，加强分类器判断能力

相当于读书时的错题本，把易错题记录下来之后时不时地进行学习

三 代码实现

四 问题思索

论文细节补充：

1.finturn过程：
计算每个region proposal与人工标注的框的IoU，IoU重叠阈值设为0.5，大于这个阈值的作为正样本，其他作
　为负样本。然后在训练的每一次迭代中都使用32个正样本（包括所有类别）和96个背景样本组成的128张图片的batch
　进行训练（正样本图片太少了）
2.SVM训练过程：
　对每个类都训练一个线性的SVM分类器，训练SVM需要正负样本文件，这里的正样本就是ground-truth框中的图像作
　为正样本，完全不包含的region proposal应该是负样本，但是对于部分包含某一类物体的region proposal该如
　何训练作者同样是使用IoU阈值的方法，这次的阈值为0.3，计算每一个region proposal与标准框的IoU，小于0.3
　的作为负样本，其他的全都丢弃。由于训练样本比较大，作者使用了standard hard negative mining method
　（具体怎么弄的不清楚）来训练分类器。作者在补充材料中讨论了为什么fine-tuning和训练SVM时所用的正负样本
　标准不一样，以及为什么不直接用卷积神经网络的输出来分类而要单独训练SVM来分类，作者提到，刚开始时只是用了
　ImageNet预训练了CNN，并用提取的特征训练了SVMs，此时用正负样本标记方法就是前面所述的0.3,后来刚开始使用
　fine-tuning时，使用了这个方法但是发现结果很差，于是通过调试选择了0.5这个方法，作者认为这样可以加大样本
　的数量，从而避免过拟合。然而，IoU大于0.5就作为正样本会导致网络定位准确度的下降，故使用了SVM来做检测，全
　部使用ground-truth样本作为正样本，且使用非正样本的，且IoU小于0.3的“hard negatives”，提高了定位的准确度。
3.hard negatives:
　在训练过程中会出现 正样本的数量远远小于负样本，这样训练出来的分类器的效果总是有限的，会出现许多false positive。
　采取办法可以是，先将正样本与一部分的负样本投入模型进行训练，然后将训练出来的模型去预测剩下未加入训练过程的负样本，
　当负样本被预测为正样本时，则它就为false positive，就把它加入训练的负样本集，进行下一次训练，知道模型的预测精度不再提升
　这就好比错题集，做错了一道题，把它加入错题集进行学习，学会了这道题，成绩就能得到稍微提升，把自己的错题集都学过去，成绩就达到了相对最优

*Major*
关注
第05课：CNN 在机器视觉中的应用——图像分类
万宫玺的专栏
09-22 1407
从本节课开始，我们将陆续为大家介绍在工业界使用较多的几种神经网络结构。首先介绍的是卷积神经网络（Convolution Neural Network，CNN）。本节课核心内容包括： 卷积神经网络发展历史回顾 卷积与池化 卷积神经网络的应用（图像分类） 卷积一词来源于信号处理领域。以 1D 信号为例，f(x) 和 g(x) 分别代表两个信号源输出的信号，则 f(x) 和 g(x) 的卷积可以表示...
使用卷积神经网络（CNN）进行图像分类与识别
a871923942的博客
04-01 4984
本文介绍了卷积神经网络（CNN）的基本原理和结构，并通过一个简单的实例展示了如何使用Python和TensorFlow库搭建CNN模型，对CIFAR-10数据集进行图像分类和识别。你可以在此基础上尝试不同的模型结构、优化方法和数据预处理技巧，以提高模型的性能。同时，可以将此方法应用于其他图像分类问题，如手写数字识别、人脸识别和场景分类等。
R-CNN detection（RCNN检测）
qq_39501363的博客
06-18 475
本文来源：caffe官方文档翻译，地址：RCNN检测 R-CNN是一种最先进的探测器，它可以通过一个finetuned Caffe模型对区域提案进行分类。关于R-CNN系统和模型的完整细节，请参考其项目现场和论文： 丰富的特征层次结构，用于精确的目标检测和语义分割。罗斯·格希克，杰夫·多纳休，特雷弗·达雷尔，吉滕德拉·马利克。CVPR 2014。Arxiv 2013。 注：...
机器学习常见问题及解决方案——特征选择方法
lovejay7的博客
07-17 5199
1、特征工程 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已，特征工程就是最大限度地从原始数据中提取特征以供算法和模型使用，通过归纳和总结，特征工程大体包含以下方面： 特征处理是特征工程的核心部分，scikit-learn提供了较为完整的特征处理方法，包括数据预处理、特征选择、降维等。 2、数据预处理 通过特征提取，我们能得到未处理的特征，这是的特征有以下显著特点...
深度学习-CNN提取图像特征
热门推荐
知识搬运工的博客
01-30 9万+
一、卷积层 1.卷积操作 2.特征提取—"X" or "O"？ 二、池化(Pooling) 三、Relu 层 四、全连接层(Fully connected layers) 五、反向传播算法BP 六、总结 作为机器学习的一个分支，深度学习同样需要计算机获得强大的学习能力，那么问题来了，我们究竟要计算机学习什么东西？答案当然是图像特征了。将一张图像看做是一个个像素值组成的...
分类算法之二——特征提取与特征选择
bob908的专栏
08-19 1万+
文本的表示及其特征项的选取是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息，即对文本进行科学的抽象，建立它的数学模型，用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。由于文本是非结构化的数据,要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。
Mask_RCNN模型文件
12-15
**Mask RCNN模型详解** Mask R-CNN是一种用于对象检测和实例分割的深度学习模型，由Kaiming He、Ross Girshick、Kaiming He和Jason J. Dollar于2017年提出。该模型在 Faster R-CNN的基础上进行了扩展，不仅能够识别...
faster-rcnn权重文件vgg16-caffe
02-28
总之，"faster-rcnn权重文件vgg16-caffe"涉及到的是深度学习中的目标检测技术，具体是Faster R-CNN模型与VGG16网络的结合，使用CAFFE框架实现，并且提供了预训练的权重以供使用。这一资源对于研究者和开发者来说是...
Mask_Rcnn+balloon数据集+coco模型+balloon模型
05-30
** Mask-RCNN 技术详解 ** Mask-RCNN 是一种深度学习框架下的目标检测与分割技术，由 Matterport 公司的 Kaiming He、Georgia Tech 的 Ross Girshick 和 Facebook AI Research (FAIR) 的 Michael Massa 等人于2017...
RCNN系列.rar
08-26
RCNN（Region-based Convolutional Neural Networks）系列是深度学习在目标检测领域的里程碑式工作，由Ross Girshick等人在2014年提出。这一系列的方法极大地推动了计算机视觉的发展，尤其是目标检测技术的进步。...
基于selective_search对手写数字串进行分割，并基于tensorflow在mnist训练好的模型进行识别
08-03
基于selective_search源码对手写数字串进行过滤分割，并基于tensorflow在mnist训练好的模型进行识别。 环境：Windows10 + tensorflow1.2 + python3.5 + cv2 程序： example/demo.py---对手写数字图片的分割，并将每个数字做成28*28的黑底白字图片，保存在本地image_data.npy example/mnist_model.py---对手写体mnist数据集进行训练，训练好后读取数据进行识别 example/camera.py---是调用计算机摄像头获取图片用的，按q退出拍照 selectivesearch/selectivesearch.py---是选择性搜索的源代码 注意：手写数字的图片尽量不要太大（太大会显得数字写的太细，调大数字粗细度），每个数字大小不要差太多，可以在画板上写的一个数字长宽在50像素左右效果不错，其他的没有测试过。
MaskRCNN的实现
01-27
本文来自于csdn，文章主要介绍了Mask RCNN整体实现框架、FPN和RPN的对应关系以及分类和bbox回归等相关内容。 要充分理解maskRCNN建议先通读RCN的系列论文了解主题脉络,然后参考代码实现了解细节。
R-CNN详细解析
lengyue815的博客
11-03 816
对象分类问题，考虑到训练的分类器时二分类问题，如果是一个汽车那么就是正样例，更重要的问题时怎么判断一个重叠区域的一辆汽车，覆盖阀值是通过，0.3，在一个验证数据集上进行网格搜索{0,0.1,0,...,0.5}进行不同方法验证得到的阀值，这个阀值的设定比较重要，设置为0.5，mAP降低5个点，设置为0，mAP降低4个点，对于每一个类别正样例被定义为真正bounding box。一张图像所有的点积转化为矩阵与矩阵的乘积，特征矩阵典型的2000*4096，svm为4096*N，N为对应的类别。
rcnn代码实现_Faster-RCNN论文细节原理解读+代码实现gluoncv(MXNet)
weixin_39719585的博客
12-07 663
Faster-RCNN开创了基于锚框(anchors)的目标检测框架，并且提出了RPN(Region proposal network)，来生成RoI，用来取代之前的selective search方法。Faster-RCNN无论是训练/测试速度，还是物体检测的精度都超过了Fast-RCNN，并且实现了end-to-end训练。 从RCNN到Fast-RCNN再到Faster-RCNN，后者无疑...
【目标检测】Selective Search (SS) 选择性搜索算法
学无止境、积少成多、厚积薄发
11-17 2335
一、前言 1. 滑动窗口检测器 1.1 滑动窗口介绍 一种用于目标检测的暴力方法：从左到右，从上到下滑动窗口（窗口大小、滑动步长预先设定），利用分类识别目标。 得到窗口内的图片送入分类器，但是很多分类器只取固定大小的图像，所以这些图像需要经过一定的变形转换。但是，这不影响分类的准确率，因为分类器是可以处理变形后的图像。 将图像变形（warped）转换成固定大小: 变形图像块被输入CNN分类器中，提取4096个特征，使用SVM分类器识别类别和该边界框的另一个线性回归器 下面是伪代码，我们创建很多窗口来检测
Selective Search（选择性搜索）学习总结
weixin_42234720的博客
07-16 473
选择性搜索： • 一种目标用于目标检测的暴力方法就是从左往右，从上往下滑动窗口，利用分类识 别目标，为了识别不同距离出检测不同的目标类型，可以使用不同大小、高宽比的 窗口进行滑动，然后将窗口内的图片进行特征提取后送入分类器，进行分类判断即 可完成目标检测的操作。很显然这种方法复杂度太高，会产生太多的冗余候选区域， 实际应用中是不太可行的。 • 在穷举暴力法的基础上，进行一些剪枝操作，只选择固定大小...
训练过程--fineturn微调
wydbyxr的博客
12-05 3630
何时微调模型   一般来说，如果我们的数据集在上下文中与预训练模型的训练数据集没有明显不同，我们应该进行微调。像 ImageNet 这样大而多样的数据集上的预训练网络，在网络前几层可以捕获到像曲线和边缘这类通用特征，这些特征对于大多数分类问题都是相关且有用的。   当然，如果我们的数据集代表一些非常具体的领域，例如医学图像或中文手写字符，并且找不到这个领域的预训练网络，那么我们应该考虑从头开始训练...
深度学习：选择性搜索（Selective Search）
默语之声的博客
05-13 1167
在目标检测时，为了定位到目标的具体位置，通常会把图像分成许多子块，然后把子块作为输入，送到目标识别的模型中。分子块的最直接方法叫滑动窗口法。滑动窗口的方法就是按照子块的大小在整幅图像上穷举所有子图像块。 和滑动窗口法相对的是另外一类基于区域（region proposal）的方法。selective search就是其中之一！ 候选区域算法用分割不同区域的办法来识别潜在的物体。在分割的时候，我们要...
Selective Search原理及实现
Elag的专栏
05-11 3万+
在目标检测时，为了定位到目标的具体位置，通常会把图像分成许多子块，然后把子块作为输入，送到目标识别的模型中。分子块的最直接方法叫滑动窗口法。滑动窗口的方法就是按照子块的大小在整幅图像上穷举所有子图像块。这种方法产生的数据量想想都头大。和滑动窗口法相对的是另外一类基于区域（region proposal）的方法。selective search就是其中之一！ 首先通过简单的区域划分算法，将图片划分...
rcnn mask rcnn
最新发布
08-15
RCNN（Region-based Convolutional Neural Network）是一种目标检测算法，而Mask RCNN是在RCNN的基础上添加了一个预测分割mask的分支。Mask RCNN相比于RCNN具有更好的泛化适应能力，可以与多种RCNN框架结合，并表现...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值