区域卷积神经网络R-CNN

最新推荐文章于 2024-01-06 19:11:56 发布
最新推荐文章于 2024-01-06 19:11:56 发布
阅读量1.3k 收藏 6
点赞数 1
分类专栏： 模型 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jindaxiaoooo/article/details/107989951
版权

区域卷积神经网络R-CNN

https://www.bilibili.com/video/BV1iJ411V7pM

1、图像分割：

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。

（1）现有的图像分割方法主要分以下几类：
基于阈值的分割方法、
基于区域的分割方法、
基于边缘的分割方法
基于特定理论的分割方法等。

（2）按分割目的划分

  • 普通分割
    将不同分属不同物体的像素区域分开。
    如前景与后景分割开，狗的区域与猫的区域与背景分割开。
  • 语义分割
    在普通分割的基础上，分类出每一块区域的语义（即这块区域是什么物体）。
    如把画面中的所有物体都指出它们各自的类别。
  • 实例分割
    在语义分割的基础上，给每个物体编号。

2、R-CNN

R-CNN的全称是Region-CNN，是第一个成功将深度学习应用到目标检测上的算法。R-CNN基于卷积神经网络(CNN)，线性回归，和支持向量机(SVM)等算法，实现目标检测技术。

R-CNN遵循传统目标检测的思路，同样采用提取框，对每个框提取特征、图像分类、 非极大值抑制四个步骤进行目标检测。只不过在提取特征这一步，将传统的特征(如 SIFT、HOG 特征等)换成了深度卷积网络提取的特征。R-CNN 体框架如图所示。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上面的框架图清晰的给出了R-CNN的目标检测流程：

(1) 输入测试图像

(2) 利用selective search算法在图像中提取2000个左右的region proposal。

(3) 将每个region proposal缩放（warp）成227x227的大小并输入到CNN，将CNN的fc7层的输出作为特征,得到一个特征向量。

(4) 将每个region proposal提取到的CNN特征输入到SVM进行分类，预测出候选区域中所含物体的属于每个类的概率值。每个类别训练一个SVM分类器，从特征向量中推断其属于该类别的概率大小。

(5)为了提升定位准确性，R-CNN最后又训练了一个边界框回归模型，通过边框回归模型对框的准确位置进行修正。

2.1细节说明

  • Selective Search：一种产生候选区的方法，没有用到深度学习，需要在 CPU 上训练，比较耗时，简称 SS。
  • Region proposal：直译为成区域建议（有些别扭），就是生成候选区的过程，类似于比赛前的海选，其中的 region 是矩形区。方法有 Selective Search，论文中产生 2000 个候选区，下面简称这部分产生的区域为候选区。
  • Bounding box：直译为边界框，就是最后输出定位的那个矩形框。严格来说，分为人工标注的 ground truth 和 predicted 两种类型。有时候简称为 BB。
  • Region of interest（ROI：感兴趣的区域，有时候论文把 region proposal 产生的区域叫 ROI。
  • Non maximum suppression（NMS）：非极大值抑制，简称为 NMS 算法，其思想是搜素局部最大值，抑制极大值，在目标检测的目的是输出最合适的边界框。
  • Fully connected layer：全连接层，我下面简写为 FC 层
  • Feature map：卷积层的输出，可翻译为特征图。
（1）训练集

经典的目标检测算法在区域中提取人工设定的特征（Haar，HOG）。本文则需要训练深度网络进行特征提取。可供使用的有两个数据库：
一个较大的识别库（ImageNet ILSVC 2012）：标定每张图片中物体的类别。一千万图像，1000类。
一个较小的检测库（PASCAL VOC 2007）：标定每张图片中，物体的类别和位置。一万图像，20类。
本文使用识别库进行预训练，而后用检测库调优参数。最后在检测库上评测。

（2）selective research

步骤一：
将图像A分成不同的子区域R1,R2…Rn
A = R 1 ∪ R 2 ∪ R 3.... ∪ R n A=R1\cup R2\cup R3....\cup Rn A=R1∪R2∪R3....∪Rn
根据交叠、尺寸、纹理、颜色（最终的相似度是这四个值取不同的权重相加）计算相邻子区域的相似度S12，S23，S34…再相加得到S
S = S 12 ∪ S 23 ∪ S 34 . . . . S=S_{12}\cup S_{23}\cup S_{34}.... S=S12​∪S23​∪S34​....

步骤二：
找出相似度最大的子区域如R1,R2,将 R1,R2区域合并成Rn+1，并加入到A中
A = R 1 ∪ R 2 ∪ R 3.... ∪ R n ∪ R n + 1 A=R1\cup R2\cup R3....\cup Rn\cup Rn+1 A=R1∪R2∪R3....∪Rn∪Rn+1
并将S中所有和S1和S2相关的相似度都删除

步骤三：
将合并后的分割区域作为一个整体，跳到步骤1，直到 S = ∅ S=\varnothing S=∅,
此时 A = R 1 ∪ R 2 ∪ R 3.... ∪ R n ∪ R n + 1.... ∪ R n + m A=R1\cup R2\cup R3....\cup Rn\cup Rn+1....\cup Rn+m A=R1∪R2∪R3....∪Rn∪Rn+1....∪Rn+m

通过不停的迭代，候选区域列表中的区域越来越大。可以说，我们通过自底向下的方法创建了越来越大的候选区域Region proposal。表示效果如下：

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

（3）分类标签

因为训练过程是监督学习过程，所以需要给Region proposals标上标签。
groundtruth

在这里插入图片描述

根据提取的Region proposals和groundtruth之间的的IOU来确定Region proposals的标签：

在这里插入图片描述

（4）SVM分类

在此模型中用神经网络提取特征，用SVM分类器进行分类。SVM二分类器只能判断region proposal是否属于某个类别，所以模型分类类别有几种，就有几个SVM二分类器。之所以选用SVM作为分类器，是因为region proposal一般都和groundtruth相差比较大，实验表明选用SVM分类器可以一定程度提高分类准确度。
在这里插入图片描述
由于直接用Region proposals来训练网络，所以最后得到的bounding box都不会很准确，所以要训练bounding box回归模型。并通过非极大值抑制技术来得到最终的物体的精确位置。

（5）训练bounding box回归模型

对每一类目标，使用一个边界框回归模型进行精修。正则项λ=10000， 输入为深度网络pool5层的4096维特征，输出为xy方向的缩放和平移。

Region proposal的位置：
P = ( P x , P y , P w , P h ) P=(P_{x},P_{y},P_{w},P_{h}) P=(Px​,Py​,Pw​,Ph​)
groundtruth的位置：
G = ( G x , G y , G w , G h ) G=(G_{x},G_{y},G_{w},G_{h}) G=(Gx​,Gy​,Gw​,Gh​)
x,y代表中心点，w,h代表宽和高

在这里插入图片描述
在边界框回归中，我们利用了线性回归在RCNN论文代表这AlexNet第5个池化层得到的特征即将送入全连接层的输入特征的线型函数。在这里，我们将特征记作 ϕ5（P）

bounding box的训练目标就是建立P->G的映射，输入为P，输出为预测的G，我们将映射拆成四个部分

在这里插入图片描述

在这里插入图片描述
转化成最优化问题，使得使预测的G和实际的G相差最小，tx,ty,tw,th对应以上四个映射，测试的时候，这个映射关系就可以调整Region proposals的位置，来提升bounding box的精确度。

在这里插入图片描述
最后通过回归模型，同一物体能得到许多bounding box的位置，我们对bounding box进行打分（置信度：网络对预测结果正确的信心），通过非极大值抑制技术去除冗余的bounding box，最后选出分数最高的bounding box。

在这里插入图片描述

在这里插入图片描述

3、R-CNN框架存在着的问题:

(1) 训练分为多个阶段，步骤繁琐: 微调网络+训练SVM+训练边框回归器

(2) 训练耗时，占用磁盘空间大：5000张图像产生几百G的特征文件

(3) 速度慢: 使用GPU, VGG16模型处理一张图像需要47s。

针对速度慢的这个问题，SPP-NET给出了很好的解决方案。见下篇博客。

金小虾
关注
专栏目录
1.32、 基于区域卷积神经网络(R-CNN)的停车标志检测(matlab)
XU157303764的博客
07-21 1191
中间层包含多个由卷积层、ReLU（修正线性单元）层和池化层组成的重复模块。这三个层构成卷积神经网络的核心构建模块。卷积层定义滤波器权重集，这些权重集在网络训练期间会更新。ReLU 层在网络中引入非线性，让网络能够逼近非线性函数，这些函数将图像像素映射到图像语义内容。池化层在数据流经网络时对其进行下采样。在具有许多层的网络中，应谨慎使用池化层，以避免过早对网络中的数据进行下采样。数据准备准备包含停车标志和其对应标注框的训练数据集和测试数据集。
基于区域的CNN（R-CNN）
吴建明wujianming_110117
06-30 697
基于区域的CNN（R-CNN） Region-based CNNs (R-CNNs) 基于区域的卷积神经网络或具有CNN特征的区域（R-CNN）是一种将深度模型应用于目标检测的开创性方法。在本节中，将讨论R-CNN及其一系列改进：Fast R-CNN[Girshick，2015]、Faster R-CNN和Mask R-CNN。由于篇幅的限制，将把讨论局限于这些模型的设计上。 R-CNNs R-CNN模型首先从一幅图像中选择几个建议的区域（例如，锚框是一种选择方法），然后标记类别和边界框（例如偏移量）。
基于区域的全卷积神经网络（R-FCN）简介
weixin_33709364的博客
05-22 479
在 Faster R-CNN 中，检测器使用了多个全连接层进行预测。如果有 2000 个 ROI，那么成本非常高。 feature_maps = process(image)ROIs = region_proposal(feature_maps)for ROI in ROIs patch = roi_pooling(feature_maps, ROI) class_scores, b...
计算机视觉技术-区域卷积神经网络（R-CNN）
最新发布
学习笔记，人工智能，教程，技术分享！
01-06 658
本节将介绍R-CNN及其一系列改进方法：快速的R-CNN（Fast R-CNN） (Girshick, 2015)、更快的R-CNN（Faster R-CNN） (Ren et al., 2015)和掩码R-CNN（Mask R-CNN） (He et al., 2017)。作为端到端训练的结果，区域提议网络能够学习到如何生成高质量的提议区域，从而在减少了从数据中学习的提议区域的数量的情况下，仍保持目标检测的精度。这些形状各异的提议区域在卷积神经网络的输出上分别标出了形状各异的兴趣区域。
浅谈深度神经网络 — R-CNN（区域卷积神经网络）R-CNN->Fast R-CNN->Faster R-CNN
丿回到火星去
02-14 5784
浅谈深度神经网络 — R-CNN（区域卷积神经网络）R-CNN->Fast R-CNN->Faster R-CNN
深度学习方法笔记之（三）：基于区域的卷积神经网络介绍（RCNN）
weixin_44322778的博客
07-04 375
【实现方法】 用RCNN检测目标物体的步骤如下： 首先取一个预训练卷积神经网络。 根据需要检测的目标类别数量，训练网络的最后一层。 得到每张图片的感兴趣区域（Region of Interest），对这些区域重新改造，以让其符合CNN的输入尺寸要求。 得到这些区域后，我们训练支持向量机（SVM）来辨别目标物体和背景。对每个类别，我们都要训练一个二元SVM。 最后，我们训练一个线性回归模型，为每个...
基于区域卷积神经网络Faster R-CNN的手势识别方法.pdf
09-25
"基于区域卷积神经网络Faster R-CNN的手势识别方法" 本文档主要介绍了基于区域卷积神经网络Faster R-CNN的手势识别方法。该方法使用深度学习技术，引入Faster R-CNN网络，自动提取手势目标特征，采用RPN机制提取...
CNN--卷积神经网络从R-CNN到Faster R-CNN的理解(CIFAR10分类代码)
mantch
08-11 1843
文章目录1. 什么是CNN1.1 输入层1.2 卷积计算层(conv)1.3 激励层1.4 池化层1.5 全连接层1.6 层次结构小结1.7 CNN优缺点2. 典型CNN发展历程3. 图像相关任务3.1 图像识别与定位3.1.1 思路1：识别+定位过程3.1.2 思路2：图窗+识别3.2 物体检测(object detection)3.2.1 过程3.2.2 R-CNN3.2.3 SPP-Net3...
Faster r-cnn_CNN_faster_快区域卷积神经网络_
10-03
**快区域卷积神经网络（Faster R-CNN）详解** 在计算机视觉领域，目标检测是至关重要的一环，它涉及到图像中的对象识别和定位。Faster R-CNN（Fast Region-based Convolutional Neural Network）是一种高效的目标...
matlab分时代码-Tunnel-Crack-Detection-by-faster-R-CNN:基于快速区域卷积神经网络的隧道裂缝检测
05-21
更快的R-CNN：通过区域提议网络实现实时目标检测 任少卿，何开明，罗斯·吉尔希克，孙健（Microsoft Research） 该Python实现包含在MSR实习期间编写的Sean Bell（Cornell）提供的内容。 请与官方联系以获取更多详细...
（八）计算机视觉 -- 6 区域卷积神经网络（R-CNN）系列
FionaDong的博客
11-15 2292
6. 区域卷积神经网络（R-CNN）系列 区域卷积神经网络（region-based CNN / regions with CNN features，R-CNN）是将深度模型应用于目标检测的开创性工作之一。 本节将介绍R-CNN和它的一系列改进方法（模型设计思路）： 快速的R-CNN（Fast R-CNN）、更快的R-CNN（Faster R-CNN）以及掩码R-CNN（Mask R-CNN）。 6.1 R-CNN R-CNN首先对图像选取若干提议区域（如锚框也是一种选取方法）并标注它们的类别和边界框（如
区域卷积神经网络（R-CNN,SPP-Net,Fast R-CNN,Faster R-CNN)
xiaoou的博客
11-13 9514
1 模型进化史 检测框架可分为两类： 两级式检测框架，包含一个用于区域提议的预处理步骤，使得整体流程是两级式的，如R-CNN系列 单级式检测框架，即无区域提议的框架，这是一种单独提出的方法，不会将检测提议分开，使得整个流程是单级式的，如YOLO系列 2 传统的目标检测 2.1 三个阶段 区域选择利用不同尺寸的滑动窗口框住图中的某一部分作为候选区域。 特征提取：提取候选区域相关的视觉特征...
深度学习入门（四十六）计算机视觉——区域卷积神经网络（R-CNN）系列
ElysiumAILab
11-22 1207
课件 R-CNN 兴趣区域(RoI)池化层 Faster R-CNN Faster R-CNN Mask R-CNN 精度和速度比较 总结 教材 1 R-CNN 2 Fast R-CNN 3 Faster R-CNN 4 Mask R-CNN 小结 参考文献
神经网络的认识（十）Faster R-CNN
赫凯的博客
06-08 1594
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks在 Region Proposal +CNN 分类的这种目标检测框架中， Region Proposal 质量好坏直接影响到目标检测任务的精度。如果找到一种方法只提取几百个或者更少的高质量的假选窗口，而且召回率很高，这不但能加快目标检测速度，...
Region Based CNN 系列之——(1) R-CNN思路及其基础整理
机器学习_成长之路
04-25 502
现在对于从RCNN到FRCNN的论文已经有了很多优秀的博客来介绍，因此在这里，我只简单写一些思路性的东西，以及为了理解所加入的一些基础知识。 一、RCNN的整体结构 如上图所示，RCNN的整体结构其实相对比较简单，首先为输入图像（可以是任意尺寸），其次通过Region Proposal 获取到约2000个候选区域，然后将这2000个候选区域直接resize成固定大小...
R-CNN（Region-CNN）、Fast R-CNN、Faster R-CNN学习笔记
biubiusion的博客
05-16 1083
R-CNN 是伴随着目标检测技术提出的一种模型； 目标检测要解决的问题是：找出物体的位置、判断是什么物体； 目标检测算法分为3类： 传统的目标检测算法，如 HOG+SVM 等； 候选区域+深度学习分类算法，如 R-CNN、Fast R-CNN 等； 基于深度学习的回归方法，如 YOLO、SSD 等。 传统目标检测算法存在的问题： 滑动窗口的区域选择没有针对性，时间的复杂度高，窗口冗余量大； 手工设计的特征对于多样性的变化没有很好的鲁棒性。 为了优化上述问题，提出了 R-CNN：预先找到目标
基于区域建议网络的Faster R-CNN实时目标检测
TJMtaotao的博客，高校计算机教师
12-01 3327
目前最先进的目标检测网络依赖于区域建议算法来假设目标的位置。SPPnet[1]和Fast R-CNN[2]等技术的发展减少了这些检测网络的运行时间，使区域建议计算成为瓶颈。在这项工作中，我们引入了一个区域建议网络（RPN），它与检测网络共享完整的图像卷积特征，从而实现几乎无成本的区域建议。RPN是一个完全卷积的网络，它同时预测每个位置的对象边界和对象得分。RPN通过端到端的训练来产生高质量的区域建...
R-CNN (region-cnn)以及caffe 0.999的编译问题
lhaof的博客
11-03 234
编译运行rcnn的代码，需要安装caffe-0.999，这是个很古老的库了。下面记录一下几个坑： 1.请安装matlab-R2013a，安装R2012应该也可以，但是安装更新的版本，比如R2015b，就不行，R2014也有人出问题。 2.google-protobuf使用2.5.0，新版本可能出问题。 3.cuda不能使用9.0或以上版本，本人使用8.0没问题，更旧的版本可能也行。 本人的...
卷积神经网络——目标检测之RCNN论文翻译
itlilyer的博客
07-27 1061
0.摘要 目标检测的性能最近几年性能一直停滞不前。之前性能最好的方法是一个将低级别（low-level)的图像特征与高级别(hight-level)的上下文信息结合在一起的一个复杂系统。作者提出的方式简单、可扩展，mAP提高了30%，达到了53.3%。 该方法结合了两个关键的思想： 在候选区域上执行大容量的神经网络(CNN)，以便对对象进行定位和分割； 当标记的训练数据比较少的时候，先对辅助任务进行有监督的预训练，然后对特定区域进行微调(fine-tune)，可以使性能得到明显的提升。 我们将候选区域与
区域卷积神经网络(R-CNN)
09-19
### 回答1： 区域卷积神经网络（Region-based Convolutional Neural Network，R-CNN）是一种用于目标检测的深度学习模型。它由Ross Girshick等人于2014年提出，是目标检测领域的一个重要里程碑。 R-CNN的基本思想是先使用选择性搜索（Selective Search）等算法对输入图像进行区域提取，然后对每个提取出的区域进行卷积神经网络（CNN）特征提取，最后使用支持向量机（SVM）进行目标分类和边界框回归。整个R-CNN模型可以分为三个部分：区域提取、CNN特征提取和目标分类与边界框回归。 具体来说，R-CNN首先对输入图像进行选择性搜索，得到一些可能包含目标的区域。然后，对每个区域进行裁剪和缩放，将其转换为固定大小的图像块，并输入到预训练的CNN模型中进行特征提取。在这里，R-CNN使用了AlexNet等经典的CNN模型来提取特征。最后，使用SVM对每个区域进行分类和边界框回归，得到目标检测结果。 R-CNN虽然在目标检测领域取得了很好的效果，但其存在一些问题，例如计算量大、训练时间长等。后续的研究者对R-CNN进行了改进，提出了Fast R-CNN、Faster R-CNN和Mask R-CNN等模型，进一步推动了目标检测领域的发展。 ### 回答2： 区域卷积神经网络(R-CNN)是一种用于物体检测和识别的神经网络模型。R-CNN模型在传统的卷积神经网络的基础上增加了区域建议网络(Region Proposal Network, RPN)和区域分类器(Region Classifier)两个关键组件。 首先，RPN组件负责生成一系列可能包含物体的候选区域。它通过在输入图像上滑动一个大小固定的窗口，并对每个窗口提取特征。然后，RPN利用这些特征来评估窗口是否可能包含物体。这个评估过程可以通过二分类器来完成，即判断每个窗口内是否有物体。同时，RPN还会为每个窗口生成可能包含物体的候选边界框（bounding box）。 接下来，区域分类器组件负责对每个候选区域进行物体分类和边界框的精确定位。首先，每个候选区域都会被改变成固定的大小，并通过卷积操作提取特征。然后，这些特征会被输入到一个全连接的分类器中，用于判断候选区域内的物体类别。同时，另一个全连接的回归器用于对边界框进行微调，从而更精确地定位物体。 整个R-CNN模型的训练过程是从已标注的图像数据中获取正负样本，其中正样本是与真实边界框有高IoU(Intersection over Union)的候选区域，负样本则是与真实边界框有低IoU的候选区域。这些样本以及经过卷积操作提取的特征将被用于训练分类器和回归器的参数。 相比于传统的物体检测方法，R-CNN模型能够更准确地定位和识别物体。它通过引入RPN和区域分类器的方式，不仅能够生成候选区域，还能对每个候选区域进行分类和精确定位。这种端到端的训练方式使得R-CNN模型具有更高的准确性和鲁棒性，因而在许多计算机视觉任务中取得了很好的效果。 ### 回答3： 区域卷积神经网络（R-CNN）是一种用于目标检测和图像识别的深度学习算法。传统的卷积神经网络（CNN）将所有图像的区域都视为相等的，并忽略了目标在图像中的具体位置。而R-CNN通过引入区域建议网络（Region Proposal Network，RPN）来解决这个问题。 R-CNN的工作流程包括三个主要步骤：候选框生成、特征提取和目标识别。首先，R-CNN使用选择性搜索算法从图像中生成一些可能包含目标的候选框。然后，对于每个候选框，R-CNN采用卷积神经网络来提取其特征表示。这些特征被输入到一个支持向量机（SVM）分类器中，以判断该候选框是否包含目标。最后，采用边界框回归算法来微调候选框的位置，以更准确地框出目标的位置。 相比于传统的目标检测方法，R-CNN具有以下优势。首先，R-CNN利用了CNN在大规模图像数据集上预训练的能力，可以提取更丰富和有意义的特征表示。其次，R-CNN引入了RPN来生成候选框，避免了对图像中所有可能位置的滑动窗口进行处理的复杂计算，大大提高了计算效率。此外，R-CNN还引入了SVM分类器和边界框回归算法，进一步提高了目标检测的准确性。 R-CNN在目标检测任务中取得了很好的效果，并为后续的目标检测算法奠定了基础，如Fast R-CNN和Faster R-CNN。尽管R-CNN在性能上有所提升，但其训练和推理过程仍然较为复杂和耗时。因此，后续的研究提出了一系列优化方案，以提高目标检测算法的速度和精度，如YOLO和SSD等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值