从RCNN、Fast-RCNN到Faster-RCNN

最新推荐文章于 2024-05-29 22:01:54 发布
最新推荐文章于 2024-05-29 22:01:54 发布
阅读量286 收藏
点赞数 2
分类专栏： 算法笔记 文章标签： 人工智能 算法 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43750626/article/details/107762571
版权

一、RCNN

1. 概述

RCNN由Ross等人于2014年提出，首次将深度学习应用于目标检测任务。RCNN将VOC数据集中目标检测mAP值提升了30%，另外还提出了迁移学习的观点，成为后来深度学习训练的基本策略。

2. 测试流程

在这里插入图片描述

  1. 输入一张416*416的图片
  2. selective search算法提取约2k个候选区域，这些区域也是图片形式
  3. 暴力resize到227*227，因为Alex Net的输入是这个尺寸
  4. 输入到Alex Net，对于每个候选区域输出4096维的特征
  5. 将上述特征输入各类的svm分类器，对每个类别判断yes or no
  6. bbox精修，使用回归器对候选框位置精修

3. 训练CNN网络

  1. 网络结构
    在RCNN之前目标检测算法都是采用手工设计特征的方式（Haar，HOG）提取图像特征，RCNN开创性的使用了卷积神经网络。Alex Net和Vgg都是当时比较好的CNN网络，Vgg采用更细腻的卷积和池化获得了更好的评分，但是Alex Net的速度是Vgg的7倍，所以作者选择了Alex Net
    在这里插入图片描述
  2. 预训练
    RCNN提出了迁移学习的观点，而预训练使用的数据集是ImageNet ILSVC 2012。该数据集图片数量约1000万，只有类别标注，共1000个类别，而Alex Net输出层正好是1000，所以可以直接训练
  3. fine-tuning阶段
    fine-tuning阶段采用的数据集是PASCAL VOC 2007，该数据集有10000张图片，20个分类，还标注了定位框，测试阶段也使用了该数据集。
    为了在预训练的基础上进行迁移学习，首先要将Alex Net的输出层由1000改为21（20+1）。
    我们并不是将VOC 2007的图片直接输入网络，而是经过SS算法提取2k个候选框，然后将其标注为正负样本。其中IoU>0.5为正样本，其余为负样本。最后，在训练时取batch_size=128，包括32个正样本和96个负样本。

4.训练SVM

首先是正负样本的标注，作者通过试验发现取IoU<0.3为负样本是最好的，而正样本则是真实标注。显然负样本的数量会远多余正样本，所以作者采用了Hard Negetive Mining的策略，简单的说就是选择网络难以判断的负样本进行训练，比如IoU=0.25的就比IoU=0的更难判断，就叫Hard Negetive

为什么要多此一举训练一个SVM呢？Alex Net不是能分类吗？

因为SVM对正负样本的要求更严格，这在上面已经进行了充分的说明，因为这个原因导致SVM分类的效果比softmax要好。

5.位置精修

bbox回归器利用pool5层的4096维特征和候选框的坐标（x,y,w,h）进行训练，即预测4个值，与坐标计算损失，然后反向传播。

RCNN详细过程也可以参考下图，注意有错误之处
在这里插入图片描述

二、Fast-RCNN

1. 概述

2015年Ross又提出了Fast-RCNN，借鉴了SSPNet中的特征映射和金字塔池化层的思想，并用softmax替代了svm进行分类。

2. 测试流程

在这里插入图片描述

  1. 输入一张任意尺寸的图片
  2. 利用vgg16提取整张图的特征，形成特征图
  3. selective search算法提取约2k个候选区域，映射到特征图
  4. 特征图经过ROI pooling，统一尺寸
  5. 候选区域的特征输入到softmax和回归器得到类别和定位
  6. NMS，输出结果

3.训练

Fast-RCNN用softmax替换svm，使得该网络能够进行多任务训练，也就是将softmax的分类损失和线性回归的损失合在一起进行反向传播。这样做有如下优点：

  1. 不需要像svm那样将特征图保存在硬盘里然后再读出来训练，提高了训练速度，且省去了硬盘资源
  2. 多任务训练，将分类和定位的损失函数加在一起，并和之前的vgg统一成一个网络，离端到端更进一步。

4.相对于RCNN的改进

  1. 训练速度提高9倍，测试速度提高200倍，mAP也有些提高，这归功于全特征图、POI Pooling及softmax。
  2. 训练步骤更少，网络更加统一。RCNN先训练Alex Net，然后分别训练svm和回归器，Fast-RCNN统一搞定。
  3. 据说可以提高mAP（58-66？，之前看到RCNN如果使用vgg也可以达到60多）

二、Faster-RCNN

1. 概述

同年（2015），Ross的团队又提出了RCNN系列的最终版Faster-RCNN，且在此之后Faster-RCNN也紧随潮流一直在更新，比如使用resnet等性能更好的网络进行特征提取等。

2. 测试流程

Faster-RCNN最主要的区别是引入了RPN层替代了SS算法进行候选区推荐，而RPN又引入了一个对后面算法影响深远的概念——anchor。先来看论文给出的预测流程：
在这里插入图片描述

  1. 输入图片，resize到M*N
  2. 经过一个CNN网络得到特征图
  3. 该特征图再经过RPN层得到一系列候选区域（即对应输入图片的矩形框）
  4. 候选区映射到特征图，并进行ROI Pooling
  5. 接着经过全连接层分别进入softmax和回归器进行分类和回归
  6. NMS，输出结果

3.更详细的分析

我们再来看看更详细的流程图，并配以更细致的解释：
在这里插入图片描述
1. Conv layers

最初版本的卷积层（特指用于生成feature map的这块CNN网络）用的是vgg16，包含13个卷积层（same padding，kernel_size=3，激活函数relu）以及4个池化层（kernel_size=3，padding=2），这样一来输出的feature map尺寸为（M/16）*(N/16)，feature map中的每个点坐标扩大16倍就是其在原图对应的位置，另外网络深度为256d或512d，这里取256d分析。
在这里插入图片描述
不过后来随着越来越多高性能的特征提取网络被提出来，现在Conv layers也有了很多选择，在pytorch内置的Faster-RCNN中甚至可以任意选择resnet等网络进行特征提取。事实上目前很多目标检测算法都可以分为backbone和head两部分，backbone就是各种特征提取网络，一般都是经典的分类网络如resnet、darknet等，在Faster-RCNN中，Conv layers也相当于是一个backbone了。

2. Region Proposal Networks(RPN)

之前提到feature map的尺寸为（（M/16），（N/16），256），进入RPN层，首先会进行一次卷积操作，不改变尺寸，其作用不清楚，扩大感受野？然后会有两条线。
在这里插入图片描述
上面一条用于分类，feature 经过（1，1，18）的卷积，将深度从256变为18，为什么是18？因为每个点9个anchor，每个anchor有前景和背景2个类别。经过softmax计算这18个值，就知道哪些属于前景哪些属于背景。
下面一条用于检测（定位），同样的操作，36=4*9，对应每个anchor坐标。值得注意的是这里已经完成了一次检测，而后面的回归器将进一步优化，这也就是说Faster-RCNN其实有两次定位优化。
这样我们就知道每个anchor对应的区域以及其是否为前景了。

2.1 anchors

anchors是RPN中非常重要的概念，也是后面yolo等anchor-based算法至关重要的一个点。事实上anchors就是一系列的矩形框，每一个feature map上的“点”都对应k（这里k=9）个anchor，每个anchor由4个坐标值确定，注意这里的坐标是在M*N那幅图片上的。
在这里插入图片描述
所以RPN的本质是在原图上先框一万多个anchor，然后利用RPN输出合格的anchor（最有可能包含物体的）。我们可以看到上图的proposal层有三个输入：18d的分类信息记录了这9个anchor的分类（前景、背景）；36d的检测信息记录了这9个anchor的定位坐标；而im_info来自（M，N）的图片，除了图像信息还有从原图到其的resize。而proposal的输出就可以开始后面的旅程了。

3. 分类和定位
在这里插入图片描述
这块相对单纯一点，proposal经过RoI Pooling变成固定尺寸（7，7），然后送入全连接层，分别进行分类和回归。
4. 损失函数
看起来整个网络对定位和分类都有两次预测。在RPN阶段，网络对anchor二分类为背景和前景，并预测一组（x,y,w,h）；RPN生成的proposal经过全连接层、softmax和回归层再次进行真正的分类并优化定位。
两阶段的分类损失都采用了交叉熵损失，不同的是二分类和多分类而已；而回归损失采用了L1-smooth loss，要注意的是并不是直接把预测坐标和实际坐标输入函数，而是分别和anchor做一个变换，然后再输入损失函数。具体实现可以参考【Faster RCNN】损失函数理解
5. 训练
Faster R-CNN的训练比较复杂，不知道现在有没有具体实现的时候会不会怎么复杂，这里大概列一下流程，细节具体可以参考：一文读懂Faster RCNN

  1. 在已经训练好的model上，训练RPN网络，对应stage1_rpn_train.pt
  2. 利用步骤1中训练好的RPN网络，收集proposals，对应rpn_test.pt
  3. 第一次训练Fast RCNN网络，对应stage1_fast_rcnn_train.pt
  4. 第二训练RPN网络，对应stage2_rpn_train.pt
  5. 再次利用步骤4中训练好的RPN网络，收集proposals，对应rpn_test.pt
  6. 第二次训练Fast RCNN网络，对应stage2_fast_rcnn_train.pt

可以看到训练过程类似于一种“迭代”的过程，不过只循环了2次。至于只循环了2次的原因是应为作者提到：“A similar alternating training can be run for more iterations, but we have observed negligible improvements”，即循环更多次没有提升了。接下来本章以上述6个步骤讲解训练过程。

下面是一张训练过程流程图，应该更加清晰：
在这里插入图片描述

参考

  1. 【目标检测】RCNN算法详解
  2. 【深度学习】R-CNN 论文解读及个人理解
  3. RCNN- 将CNN引入目标检测的开山之作
  4. Fast RCNN算法详解
  5. Fast R-CNN文章详细解读
  6. Faster R-CNN文章详细解读
  7. 一文读懂Faster RCNN
  8. 【Faster RCNN】损失函数理解
嘿！蜘蛛
关注
专栏目录
RCNN fast-RCNN faster-RCNN
02-10
这三个模型的演变体现了深度学习在目标检测领域的逐步进步，从最初的结合传统方法，到完全基于深度学习的端到端解决方案，再到更快更准的两阶段检测架构。它们为后续的YOLO、SSD等一阶段目标检测方法的发展奠定了...
RCNN、Fast-RCNN、Faster-RCNN介绍
罟霖同学的站点
06-22 3830
RCNN，Fast-RCNN，Faster-RCNN介绍
R-CNN、Fast R-CNN、Faster R-CNN
qq_42261092的博客
07-03 1137
1、R-CNN(Regions with CNN features) 2014年提出，可以说是利用深度学习进行目标检测的开山之作，将识别准确率从30%多提高到50%多。与R-CNN同一时期的深度学习方法有overfit，但效果没有RCNN好，故听说得少。 ① R-CNN算法流程四步 第二步：这里的深度网络指的是图片分类网络，这里将候选区域丢入到特征提取网络就能得到特征向量； 第四步：因为通过SS算法框定的候选框不是那么准，于是选用回归器修正候选框的位置； Ⅰ 候选区域的生成 ...
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
小白学视觉
03-04 2738
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达一、目标检测常见算法object detection，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。所以，object detection要解决的问题就是物体在哪里以及是什么的整个流程问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体...
从RCNN、FastRCNN到FasterRCNN
weixin_43721070的博客
10-27 992
文章目录RCNNRCNN的步骤RCNN的整体框架RCNN 存在的问题：fast RCNNfaster RCNNFaster RCNN环境配置文件结构预训练权重模型训练方法faster RCNN 源码解析训练过程 mobilenet自定义数据集fastrcnn 框架framework 部分transform部分transform部分 RCNN RCNN的步骤 通过selective search生成建议框，2k个； 将2000个候选区域缩放到统一尺寸227*227，输入到图像分类CNN网络，获得一个
从端到端的Fast RCNN到走向实时的Faster RCNN (原理及Pytorch代码解析)
weixin_45564943的博客
12-03 7945
目录 RCNN 背景： 原理： 缺点： 端到端的Fast RCNN 背景： 原理： 缺点： 走向实时：Faster RCNN (two-stage) 背景： 原理： RPN详解： Anchor的理解： RPN的真值和预测值： RPN卷积网络: RPN真值的求取： 损失函数： NMS与生成Proposal： 筛选Proposal得到ROl： ROl Pooling层： 相关主干代码： RCNN 背景： RCNN全称为Regions with CNN Feat
经典深度学习论文 rcnn fast-rcnn faster-rcnn mask -rcnn yolo系类 DOTA
04-13
这一领域的几个里程碑式的工作包括RCNN、Fast R-CNN、Faster R-CNN、Mask R-CNN以及YOLO系列。这些模型的发展推动了物体检测技术的进步，提高了速度和精度。 1. **RCNN（Region-based Convolutional Neural ...
RCNN-FastRCNN-FasterRCNN-MaskRCNN-TensorMask论文
03-30
RCNN-FastRCNN-FasterRCNN-MaskRCNN-TensorMask论文打包 2014 Rich feature hierarchies for accurate object detection and semantic segmentation 2015 Fast R-CNN 2016 Faster R-CNN: Towards Real-Time Object ...
Faster-RCNN-TensorFlow-Python3-master
12-04
在“Faster-RCNN-TensorFlow-Python3-master”项目中，开发者提供了详细的代码实现和操作指南，这可以帮助初学者理解和实践Faster R-CNN。代码可能包含了数据预处理、模型构建、训练、验证和测试等部分，同时也考虑...
tf-Faster-RCNN-master.rar_citizenghr_faster_faster RCNN_faster-r
09-23
【标题】"tf-Faster-RCNN-master.rar" 指的是一个基于TensorFlow实现的Faster R-CNN源码库的压缩包。Faster R-CNN是一种在计算机视觉领域广泛应用的目标检测算法，由Ross Girshick、Shaoqing Ren和Kaiming He等人在...
RCNN、Fast-RCNN、 Faster R-CNN论文
03-28
目标检测要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体还可以是多个类别。文档阐述了物体检测的方法流程和改进
【机器学习】经典目标检测算法：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
qq_44832832的博客
12-04 5112
R-CNN系列（R-CNN,fast-RCNN,faster-RCNN）是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN 以及faster-RCNN都是延续R-CNN的思路。R-CNN全称region with CNN features，其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues，然后进行SVM分类与bbox的回归（定位置）。【RCNN网络结构】 重要思想： （1）通过专门模板去生成候选框（RPN）,寻找前景以及调整边界框（基于锚框） （2）
目标检测 | R-CNN、Fast R-CNN与Faster R-CNN理论讲解
最新发布
houjingchuan的博客
05-29 3223
目标检测：R-CNN、Fast R-CNN与Faster R-CNN理论讲解，根据B站up霹雳吧啦Wz总结。此文章包含R-CNN算法原理讲解、Fast R-CNN算法原理讲解、Faster R-CNN原理讲解、目标检测评价指标介绍与特征金字塔网络FPN讲解。
目标检测：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
qq_43799400的博客
03-10 3万+
目标检测：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
RCNN、Fast-RCNN、Faster-RCNN网络详解
STATEABC的博客
04-02 6506
RCNN RCNN算法流程： 1.一张图片生成1k~2k个候选区域(使用Selective Search方法)； 2.对每个候选区域，使用深度网络(即图片分类网络)提取特征； 3.特征送入每一类的SVM分类器，判别是否属于该类； 4.使用回归器精细修正候选框位置。 1.候选区域的生成 利用Selective Search算法通过图像分割的方法得到一些原始区域，然后使用一些合并策略将这些区域合并，得到一个层次化的区域结构，这些结构就包含着肯能需要的物体。 2.对每个候选区域，使用深度网络提取特征 将200
RCNN,Fast RCNN, Faster RCNN整理总结
热门推荐
gentelyang的博客
05-27 8万+
行人检测 概述：        行人检测有两种方向，传统算法和基于深度学习算法。传统算法的典型代表有Haar特征+Adaboost算法，Hog特征+Svm算法，DPM算法。而基于深度学习的行人检测典型代表有RCNN系列，YOLO系列和SSD系列。其中RCNN系列算法是现在使用的最广泛的基于深度学习的行人检测算法。         在说行人检测之前不得不说一下目标检测。行人检测是目标检测下的一个...
RCNN Fast RCNN到Faster RCNN
WYXHAHAHA123的博客
03-11 700
https://blog.csdn.net/u011974639/article/details/78053203 这位大神的讲解非常细。 然后发现CS231n 2016中lecture8就有对于从RCNN Fast RCNN到Faster RCNN的详细讲解。 一、R-CNN 下面给出训练R-CNN的过程。 step1&step2：准备用于fine-tune CNN的regio...
RCNN&Fast RCNN&Faster RCNN比较
冒个泡儿的博客
05-16 1345
  三种网络对比： RCNN 　　1. 在图像中确定约1000-2000个候选框 (使用选择性搜索) 　　2. 每个候选框内图像块缩放至相同大小，并输入到CNN内进行特征提取 　　3. 对候选框中提取出的特征，使用分类器判别是否属于一个特定类 　　4. 对于属于某一特征的候选框，用回归器进一步调整其位置 Fast RCNN 　　1. 在图像中确定约1000-2000个候选框 (使用选择性搜索) 　...
从RCNN到Fast-RCNN再到Faster-RCNN
fruit的博客
03-15 2283
简述RCNN系列： RCNN通过SS算法挑选候选框，然后将这些候选框统一尺寸放入预训练的CNN中，最后通过全连接层提取固定维度的特征向量，将特征向量送入多个SVM分类器，用SVM进行分类（之所以不用softmax是因为微调时需要大量的负样本，如果使用softmax Map会变低，而SVM使用hard negative mining挑选负样本，更具代表性，可以通过负样本更好的修正位置），对分类结果...
了解目标检测的发展RCNN->Fast-RCNN->Faster-RCNN，撑屋人脸检测算法MTCNN，人脸识别算法ArcFace
06-01
Faster-RCNN则进一步优化了Fast-RCNN，将传统的区域提取方法替换为RPN(Region Proposal Network)，可以更快地生成候选区域。而MTCNN则是一种用于人脸检测的算法，它可以在实时性的要求下高效地检测出人脸，同时还能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值