R-CNN系列综述（包括CVPR2018最新论文）

最新推荐文章于 2024-05-20 08:52:36 发布
最新推荐文章于 2024-05-20 08:52:36 发布
阅读量2.8k 收藏 33
点赞数 4

一． R-CNN（2014年）

1. 简介

RCNN是利用深度学习进行目标检测的开山之作，相对于传统典型的Haar特征+Adaboost，Hog特征+SVM等算法准确率有了很大的提升，将PASCAL VOC 2007数据集的检测准确率从35.1%提升到了66%（mAP）

2. 流程

在这里插入图片描述
（1）候选区域选择 区域建议Region Proposal是一种传统的区域提取方法，基于启发式的区域提取方法，用的方法是SS（Selective Search），提取2000个候选框左右，然后再对提取的大小不同的候选框进行大小归一化（2272273），归一化后准备输入到预训练好的CNN网络
（2）CNN特征提取 R-CNN论文中使用的是AlexNet，训练数据集为ImageNet，采用预训练的方式，将最后的全连接层由4096->1000改为了4096->21的全连接层，代表输出的21维类别标号，其中20类目标类和一个背景类 训练过程中在PASCAL VOC数据集上对预训练好的CNN做微调，然后使用SS方法提取候选框，再用微调后的CNN网络提取候选区域特征并保存起来，训练SVM分类器
（3）分类与边界回归 有两个子步骤，一个是对前一步的输出向量进行分类（分类器需要根据特征进行训练）; 第二种是通过边界回归框回归（缩写为bbox）获得精确的区域信息。其目的是准确定位和合并完成分类的预期目标，并避免多重检测，最后通过非极大值抑制(Non-maximum suppression)输出结果

3. 缺点

（1）训练步骤繁琐（微调网络+训练SVM+训练bbox）
（2）训练，测试速度都很慢，需要提取出每一个候选框再提取特征（3）训练占用空间大，提取出的特征和分类器都需要占用额外空间

4. 改进点

相对于传统检测算法，首次采用深度网络进行特征提取

5. 扩展

选择性搜索（Selective Search）通过基于图的图像分割方法初始化原始区域，就是将图像分割成很多很多的小块。然后使用贪心策略，计算每两个相邻的区域的相似度，然后每次合并最相似的两块，直到最终只剩下一块完整的图片。然后这其中每次产生的图像块包括合并的图像块我们都保存下来，这样就得到图像的分层表示了,然后再对每次合并的块打分，这样就可以根据分数筛选出需要个数的候选区域

二．Fast R-CNN（2015年）

1. 简介

同样使用大规模深度网络，Fast-RCNN和R-CNN相比，训练时间从84小时减少为9.5小时，一张图像的测试时间从47秒减少为0.32秒（不包括SS时间）。在PASCAL VOC 2007上的准确率相差不大，约在66.9%，主要优化了R-CNN在速度方面的缺陷

2. 流程

在这里插入图片描述
（1）测试过程
寻找一个在imagenet上训练过的预训练cnn模型（论文中用VGG16），用SS方法提取图片的2000个proposal并保存，将原图归一化后的图片输入到已经训练好的CNN 网络，在ROI pooling Layer的地方，对每一个proposal，提取到其对应的ROI，对每一个ROI, 将其划分成固定大小的网格，并且在每一个小网格中，对该网格做最大池化，得到固定大小的feture map，并将其输入到后续的fc层，最后一层输出21类别相关信息和4个bounding box的修正偏移量，对bounding box 按照上述得到的位置偏移量进行修正，再根据nms对所有的proposal进行筛选，即可得到对该张图片的bounding box预测值以及每个bounding box对应的类和score
（2）训练过程
对训练集中所有的图片，用SS提取出各图片对应的2000个proposal并保存， 对每张图片，根据图片中bounding box的ground truth信息，给该图片的2000个proposal赋类标签，并保存。（这2000个proposal，如果跟ground truth中的proposal的IoU值超过了阈值（IOU>=0.5），则把ground truth中的proposal对应的类标签赋给原始产生的这个proposal，其余的proposal(IOU [0.1, 0.5))都标为background），使用batch size=128，25%来自有非背景标签的proposal，其余来自标记为背景的proposal（最开始的理解：具体在这个过程中，mini-batch有两个层次，一个是对于同一张图片，64个proposal组成的mini-batch，另一个是完成单张图片的导数计算后，两张图片是一个mini-batch，更新的时候对两张图片求得的值取平均来更新权重），其实，就是ROI pooling layer以前，batch size=2，ROI pooling layer之后，batch size=128，训练CNN，最后一层的结果包含类信息和位置修正信息，所以用多任务的loss，一个是分类的损失函数，一个是位置的损失函数

3. 缺点

（1）依旧用SS提取RP（SS耗时2-3s，特征提取耗时0.32s）
（2）无法满足实时应用，没有真正实现端到端训练测试
（3）利用了GPU，但是区域建议方法是在CPU上实现的

4. 改进点

（1） Fast-RCNN在训练的时候，把整张图片送入CNN网络进行提取特征，不需要像R-CNN那样对每一个候选区域进行输入CNN，从而在CNN的利用上提高了很大的效率
（2） 训练速度相应提升，不需要SVM分类器对提取后的特征进行存储数据，把图片的特征和候选区域直接送入loss，不需要对硬盘进行读写的操作
（3） 对网络的利用效率，用于分类和回归调整的功能都用CNN网络来实现，不需要额外的分类器和回归器

5. 扩展

ROI pooling layer是根据输入image，将ROI映射到feature map对应位置，将映射后的区域划分为相同大小的sections，对每个sections进行max pooling操作，这样就可以从不同大小的候选框得到固定大小的feature maps

三．Faster R-CNN（2015年）

1. 简介

Faster R-CNN设计了提取候选区域的网络RPN，代替了费时的SS方法，将特征提取、proposal提取、Bounding Box Regression、Classification整合到一个网络中，使得检测速度大幅提升，一张图像的测试时间从2秒减少为0.2秒（前者包括SS时间），在PASCAL VOC 2007上的准确率基本相同，为66.9%

2. 流程

在这里插入图片描述
（1）Faster R-CNN和Fast R-CNN相同首先使用CNN网络提取候选图像的特征图，该特征图被共享用于后续RPN（Region Proposal Network）层和全连接(fully connection)层中
（2）RPN网络用于生成区域候选图像块，该层通过softmax判断锚点(anchors)属于前景(foreground)或者背景(background)，再利用边界框回归(bounding box regression)修正anchors获得精确的proposals
（3）目标区池化(Roi Pooling)，该层收集输入的特征图和候选的目标区域，综合这些信息后提取目标区域的特征图，送入后续全连接层判定目标类别
（4）利用目标区域特征图计算目标区域的类别，同时再次边界框回归获得检测框最终的精确位置

3. 缺点

（1）还是无法达到实时检测目标
（2）获取region proposal，再对每个proposal分类计算量还是比较大

4. 改进点

Faster R-CNN最大的亮点在于提出了一种有效定位目标区域的方法，然后按区域在特征图上进行特征索引，大大降低了卷积计算的时间消耗，所以速度上有了非常大的提升

5. 扩展

RPN网络由ZF网络的前5层得到特征图，在输入到RPN网络中，在特征图上滑动窗口，神经网络用于物体分类+框位置的回归，滑动窗口的位置提供了物体的大体位置信息，框的回归提供了框更精确的位置
在这里插入图片描述

四．Mask R-CNN（2017）

1. 简介

Mask RCNN可以看做是一个通用实例分割架构，Mask RCNN以Faster RCNN原型，增加了一个分支用于分割任务，Mask RCNN比Faster RCNN速度慢一些，达到了5fps，可用于人的姿态估计等其他任务

2. 流程

在这里插入图片描述
（1）首先，输入一幅你想处理的图片，然后进行对应的预处理操作，或者预处理后的图片
（2）然后，将其输入到一个预训练好的神经网络中（ResNeXt等）获得对应的feature map
（3）接着，对这个feature map中的每一点设定预定个的ROI，从而获得多个候选ROI
（4）接着，将这些候选的ROI送入RPN网络进行二值分类（前景或背景）和BB回归，过滤掉一部分候选的ROI
（5）接着，对这些剩下的ROI进行ROIAlign操作（即先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来）部分候选的ROI
（6）最后，对这些ROI进行分类（N类别分类）、BBox回归和MASK生成（在每一个ROI里面进行FCN操作）

3. 改进点

（1）分析了ROI Pool的不足，提升了ROIAlign，提升了检测和实例分割的效果
（2）将实例分割分解为分类和mask生成两个分支，依赖于分类分支所预测的类别标签来选择输出对应的mask。同时利用Binary Loss代替Multinomial Loss，消除了不同类别的mask之间的竞争，生成了准确的二值mask
（3）并行进行分类和mask生成任务，对模型进行了加速

五．Cascade R-CNN（2018）

1. 简介

深入研究了目标检测中的IoU阈值选取问题，并通过大量的实验分析验证了IoU阈值选取对检测器性能的影响，基于对以上问题的分析，提出了级联版的Faster R-CNN，也即Cascade R-CNN目标检测算法，在不使用任何trick的情况下，在MS COCO通用目标检测数据集上展现了非常出色的性能

5. 流程

在这里插入图片描述
（1）前半部分和Faster R-CNN结构相同，只是在尾部添加了级联结构
（2）选用的级联结构共有多个stages， IoU阈值分别设定为递进的0.5/0.6/0.7，大于该阈值的选为正样本，其余均为负样本

5. 改进点

改进了目标检测中长期以来无人问津但非常重要的问题——IoU阈值选取问题，是极具启发性的一篇工作，结合传统方法中的cascade思想和当前主流的Faster R-CNN检测框架，将two-stage方法在现有数据集上将检测性能又提升到了一个新高度

Duets_QH
关注
  • 4
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
R-CNN系列算法解读
Mzcc_bbms的博客
12-23 987
Mask-RCNN算法详细解读R-CNN系列from R-CNN to Mask-RCNNsliding windows detectorSelective searchR-CNNFast R-CNNMask-RCNN R-CNN系列 from R-CNN to Mask-RCNN R-CNN Fast R-CNN Faster R-CNN FPN FPN + RPN + Fast R-CNN FPN + RPN + Fast R-CNN + Mask Prediction sliding window
R-CNN、Fast RCNN和Faster RCNN网络介绍
chase
08-02 5015
R-CNN、Fast RCNN和Faster RCNN网络介绍
【论文解读系列】卷积神经网络(CNN)创新综述
最新发布
m0_73776435的博客
05-20 1277
大量数据的可用性和硬件处理单元的改进加速了 CNN 的研究，最近也报道了非常有趣的深度 CNN 架构。2015 年，为了训练深度 CNN，Resnet 引入的残差连接概念变得很有名，并且，后来的大多数网络像 Inception-ResNet，WideResNet，ResNext 等都在使用它。与此类似，一些像 WideResnet、Pyramidal Nets、Xception 这样的架构都引入了多层转换的概念，通过额外的基数和增加的宽度来实现。不同的抽象级别在定义神经网络的鉴别能力方面有着重要的作用。
后R-CNN时代的目标检测综述(转)
JustForYou的博客
08-27 1606
Thanks ：https://zhuanlan.zhihu.com/p/38709522 前言深度学习助力目标检测达到了一个前所未有的高峰。自 2014 年以来，目标检测框架分为two-stage 和 one-stage 两大类，前者以经典方法 Faster R-CNN 为代表，后者以 YOLO 和 SSD 为主要框架。近年来，两类最深刻的idea：更好的基础网络 & 融合不同...
目标检测综述（从RCNN到Yolov3）
weixin_38730719的博客
07-12 460
待更新
Semantic-Segmentation-in-CVPR-2018:CVPR 2018中的语义细分论文列表
05-16
CVPR-2018中的语义分段 CVPR 2018中的语义细分论文清单。 口头/海报： 海报： 海报： 海报： 海报： 聚焦/海报： 海报：[关于标签质量在语义分割中的重要性] 海报：[通过迭代挖掘共同对象特征的弱监督语义分割] ...
CVPR2021-Paper-Code-Interpretation:cvpr2021cvpr2020cvpr2019cvpr2018cvpr2017 论文代码解读直播合集，极市团队整理
05-10
7.CVPR2021最新论文分类汇总(持续更新) 6.CVPR2020论文下载/代码/解读/直播 密码：t69g 5.CVPR2020论文分方向盘点 4.CVPR2019全部论下载/开源代码 全部1294篇 下载链接: 链接: 密码:f53l 3.CVPR2019论文分方向盘点 2...
stargan：StarGAN-官方PyTorch实施（CVPR 2018）
02-26
该存储库提供了以下论文的官方PyTorch实现： StarGAN：用于多域图像到图像翻译的统一生成对抗网络1,2， 1,2， 2,3，2，2,4， 1,2- 1韩国大学， 2 Clova AI研究，NAVER Corp. 3香港科技大学新泽西学院4 摘要：...
CVPR2021-纸面代码解释：cvpr2021cvpr2020cvpr2019cvpr2018cvpr2017论文，极市团队整理
02-27
cvpr2021 / cvpr2020 / cvpr2019 / cvpr2018 / cvpr2017（论文/代码/项目/论文阅读） 论文解读摘要： ://bbs.cvmart.net/articles/3031论文分类汇总： : 2000〜2020年历届CVPR最佳论文，解释等汇总： ://bbs.cvmart...
深度学习目标检测模型全面综述：Faster R-CNN、R-FCN和SSD
weixin_33670713的博客
09-18 538
选自medium机器之心编译机器之心编辑部Faster R-CNN、R-FCN 和 SSD 是三种目前最优且应用最广泛的目标检测模型，其他流行的模型通常与这三者类似。本文介绍了深度学习目标检测的三种常见模型：Faster R-CNN、R-FCN 和 SSD。图为机器之心小编家的边牧「Oslo」被 YOLO 识别为猫随着自动驾驶汽车、智能监控摄像头、面部识别以及大量对人有价值的应用出现，快速、精准的...
7--目标检测算法（R-CNN系列）
garbage回收中心
08-26 456
R-CNN,Fast R-CNN,Fast R-CNN
目标检测算法（R-CNN，fast R-CNN，faster R-CNN，yolo，SSD，yoloV2，yoloV3，yoloV4,yoloV5,yoloV6，yoloV7）
m0_46406029的博客
12-17 9162
目标检测算法（R-CNN，fast R-CNN，faster R-CNN，yolo，SSD，yoloV2，yoloV3，yoloV4,yoloV5,yoloV6，yoloV7）
R-CNN系列详解
weixin_36670529的博客
02-21 2380
1、从传统方法到R-CNN 基于传统的方法，先要进行区域建议的生成，然后对每个区域进行手工特征的设计和提取，然后送入分类器。在Alexnet出现后，CNN的性能比较好，不但可以学习手工特征还有分类器和回归器。CNN主要用来提取特征，SS提取出的最小外接矩形可能不精准，这样的话就需要Bounding Box回归对区域的位置进行校正。输入图片SS算法算...
R-CNN算法详解
AI之路
06-03 2万+
这是一篇比较早的Object Detection算法，发表在2014年的CVPR，也是R-CNN系列算法的开山之作，网上可以搜到很多相关的博客讲解，本篇博文没有按论文顺序来讲述，而是结合自己经验来看这个算法，希望给初学者一个直观的感受，细节方面不需要太纠结，因为很多部分在后来的算法中都改进了。论文：Rich feature hierarchies for accurate object detect
【深度学习】R-CNN 论文解读及个人理解
热门推荐
frank 的专栏
08-24 22万+
背景 本篇论文的题目是 《Rich feature hierarchies for accurate oject detection and semantic segmentation》，翻译过来就是针对高准确度的目标检测与语义分割的多特征层级，通俗地来讲就是一个用来做目标检测和语义分割的神经网络。 本文作者：Ross Girshick，JeffDonahue,TrevorDarrell,Ji...
R-CNN论文详解（论文翻译）
Cheese的博客
05-08 10万+
faster-rcnn在深度学习领域算是一篇开创性的论文，对后续产生的而网络有很重要的意义，认真读懂这篇论文，相信也算是深度学习入门了 。今天又重新读了读faster-rcnn,整理了一份阅读笔记，整理的过程使自己对整个深度学习又有了更深的理解。果然论文还是应该多读几遍才能理解的。
基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN
weixin_34277853的博客
05-04 5287
object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体还可以是多个类别。 object detection技术的演进：RCNN->Spp...
CVPR2020 | PV-RCNN: 3D目标检测
我爱计算机视觉
06-20 1454
本文转载自知乎，已获作者授权转载。https://zhuanlan.zhihu.com/p/148942116本文简单介绍一下我们关于点云3D物体检测方向的最新算法：PV-RCNN (P...
rcnn mask rcnn
08-15
RCNN（Region-based Convolutional Neural Network）是一种目标检测算法，而Mask RCNN是在RCNN的基础上添加了一个预测分割mask的分支。Mask RCNN相比于RCNN具有更好的泛化适应能力，可以与多种RCNN框架结合，并表现出色。以及相关的代码链接。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Mask-RCNN技术解析](https://blog.csdn.net/linolzhang/article/details/71774168)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Mask R-CNN原理详细解读](https://blog.csdn.net/qq_37392244/article/details/88844681)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Mask RCNN 算法笔记](https://blog.csdn.net/u014380165/article/details/81878644)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值