Fast RCNN多细节详解

最新推荐文章于 2024-06-18 14:18:55 发布
最新推荐文章于 2024-06-18 14:18:55 发布
阅读量1.6k 收藏 17
点赞数 2
分类专栏： 机器视觉 文章标签： 目标检测

Fast RCNN由来

Girshick, Ross. “Fast r-cnn.” Proceedings of the IEEE International Conference on Computer Vision. 2015.

继2014年的RCNN之后，Ross Girshick在15年推出Fast RCNN，构思精巧，流程更为紧凑，大幅提升了目标检测的速度。在Github上提供了源码。

同样使用最大规模的网络，Fast RCNN和RCNN相比，训练时间从84小时减少为9.5小时，测试时间从47秒减少为0.32秒。在PASCAL VOC 2007上的准确率相差无几，约在66%-67%之间.

 

1.思想

1.1基础：RCNN

简单来说，RCNN使用以下四步实现目标检测： 
a. 在图像中确定约1000-2000个候选框 
b. 对于每个候选框内图像块，使用深度网络提取特征 
c. 对候选框中提取出的特征，使用分类器判别是否属于一个特定类 
d. 对于属于某一特征的候选框，用回归器进一步调整其位置 

    更多细节可以参看这篇博客。

RCNN中存在的问题：

  1. R-CNN网络训练、测试速度都很慢：R-CNN网络中，一张图经由selective search算法提取约2k个建议框【这2k个建议框大量重叠】，而所有建议框变形后都要输入AlexNet CNN网络提取特征【即约2k次特征提取】，会出现上述重叠区域多次重复提取特征，提取特征操作冗余；

  2. R-CNN网络训练、测试繁琐：R-CNN网络训练过程分为ILSVRC 2012样本下有监督预训练、PASCAL VOC 2007该特定样本下的微调、20类即20个SVM分类器训练、20类即20个Bounding-box 回归器训练，该训练流程繁琐复杂；同理测试过程也包括提取建议框、提取CNN特征、SVM分类和Bounding-box 回归等步骤，过于繁琐；

  3. R-CNN网络训练需要大量存储空间：20类即20个SVM分类器和20类即20个Bounding-box 回归器在训练过程中需要大量特征作为训练样本，这部分从CNN提取的特征会占用大量存储空间；

  4. R-CNN网络需要对建议框进行形变操作后【形变为227×227 size】再输入CNN网络提取特征，其实像AlexNet CNN等网络在提取特征过程中对图像的大小并无要求，只是在提取完特征进行全连接操作的时候才需要固定特征尺寸【R-CNN中将输入图像形变为227×227可正好满足AlexNet CNN网络最后的特征尺寸要求】，然后才使用SVM分类器分类，R-CNN需要进行形变操作的问题在Fast R-CNN已经不存在，具体见下。

1.2改进：Fast RCNN

Fast RCNN方法解决了RCNN方法三个问题：

问题一：测试时速度慢 
RCNN一张图像内候选框之间大量重叠，提取特征操作冗余。 
本文将整张图像归一化后直接送入深度网络。在邻接时，才加入候选框信息，在末尾的少数几层处理每个候选框。

问题二：训练时速度慢 
原因同上。 
在训练时，本文先将一张图像送入网络，紧接着送入从这幅图像上提取出的候选区域。这些候选区域的前几层特征不需要再重复计算。

问题三：训练所需空间大 
RCNN中独立的分类器和回归器需要大量特征作为训练样本。 

本文把类别判断和位置精调统一用深度网络实现，不再需要额外存储。

Fast-RCNN的优点概述：
1. 比R-CNN、SPP-net有更高的检测质量（mAP）；
2. 把多个任务的损失函数写到一起，实现单级的训练过程；

3. 在训练时可更新所有的层；

4. 不需要在磁盘中存储特征。 

 

Fast RCNN 的改进可以用下面两幅图概括。其中，左图是原 RCNN 的做法，而右图则是 Fast RCNN 的做法。

 

有个很形象直观的对比图： R-CNN和SPP-net

FastRCNN改进之后：

2.系统结构

 

整体框架大致如上述所示,几句话总结：

1.用selective search在一张图片中生成约2000个object proposal，即RoI。

2.把图像输入到卷积网络中，并输入候选框，在最后一个卷积层上对每个ROI求映射关系，并用一个RoI pooling layer来统一到相同的大小，得到 (fc)feature vector，即一个固定维度的特征表示。

3.继续经过两个全连接层（FC）得到特征向量。特征向量经由各自的FC层，得到两个输出向量：第一个是分类，使用softmax，第二个是每一类的bounding box回归。

具体来讲，训练过程如下：

1、网络首先用几个卷积层（conv）和最大池化层处理整个图像（224*224）以产生conv特征图。

2、然后，对于每个对象建议框（object proposals ，～2000个），感兴趣区域（region of interest——RoI）池层从特征图提取固定长度的特征向量。

3、每个特征向量被输送到分支成两个同级输出层的全连接（fc）层序列中：

其中一层进行分类，对 目标关于K个对象类（包括全部“背景background”类）产生softmax概率估计，即输出每一个RoI的概率分布；

另一层进行bbox regression，输出K个对象类中每一个类的四个实数值。每4个值编码K个类中的每个类的精确边界盒（bounding-box）位置，即输出每一个种类的的边界盒回归偏差。整个结构是使用多任务损失的端到端训练（trained end-to-end with a multi-task loss）。

 

另外还有一个关于测试过程的总结也写得不错：Fast R-CNN论文详解

  1. 任意size图片输入CNN网络，经过若干卷积层与池化层，得到特征图；
  2. 在任意size图片上采用selective search算法提取约2k个建议框；
  3. 根据原图中建议框到特征图映射关系，在特征图中找到每个建议框对应的特征框【深度和特征图一致】，并在RoI池化层中将每个特征框池化到H×W【VGG-16网络是7×7】的size；
  4. 固定H×W【VGG-16网络是7×7】大小的特征框经过全连接层得到固定大小的特征向量；
  5. 第4步所得特征向量经由各自的全连接层【由SVD分解实现】，分别得到两个输出向量：一个是softmax的分类得分，一个是Bounding-box窗口回归；
  6. 利用窗口得分分别对每一类物体进行非极大值抑制剔除重叠建议框，最终得到每个类别中回归修正后的得分最高的窗口。

整体框架大致如上述所示了，对比SPP-Net，可以看出FRCN大致就是一个joint training版本的SPP-Net，改进如下：

  • SPP-Net在实现上无法同时tuning在SPP layer两边的卷积层和全连接层。
  • SPP-Net后面的需要将第二层FC的特征放到硬盘上训练SVM，之后再额外训练bbox regressor。

3.特征提取网络

3.1基本结构

Fast RCNN对图像额输入尺寸没有严格限制，ROI Pooling层的的存在确保全连接层的输入是固定尺寸。

前五阶段是基础的conv+relu+pooling形式，在第五阶段结尾，输入P个候选区域（图像序号×1+几何位置×4，序号用于训练）。 

注：文中给出了大中小三种网络，此处示出最大的一种。三种网络基本结构相似，仅conv+relu层数有差别，或者增删了norm层。

3.2 ROI Pooling Layer

为了让全联接层能够接收 Conv-Pooling 后的特征，有两种方法：

  1. 要么是重新调整 pooling 后的特征维度，使它适应全联接层
  2. 要么是改变全联接层的结构，使它可以接收任意维度的特征

后者一个有效的解决方案是 FCN（全卷积网络），不过 Fast RCNN 出来之时还没有 FCN，因此它采用的是前一种思路。

那要如何调整 pooling 后的特征呢？论文提出了一种 ROI Pooling Layer 的方法（ROI 指的是 Region of Interest）。事实上，这种方法并不是 Fast RCNN 的原创，而是借鉴了 SPPNet 的思路。关于 SPPNet，网上资料很多，就不再赘述了，所以我开门见山讲一下 ROI Pooling Layer 是怎么处理的。假设首个全联接层接收的特征维度是 H∗W∗D，例如 VGG16 的第一个 FC 层的输入是 7 * 7 * 512，其中 512 表示 feature map 的层数。那么，ROI Pooling Layer 的目标，就是让 feature map 上的 ROI 区域，在经过 pooling 操作后，其特征输出维度满足 H∗W。具体做法是，对原本 max pooling 的单位网格进行调整，使得 pooling 的每个网格大小动态调整为 h / H∗w / W（假设 ROI 区域的长宽为 h∗w）。这样，一个 ROI 区域可以得到 H∗W 个网格。然后，每个网格内依然采用 max pooling 操作。如此一来，不管 ROI 区域大小如何，最终得到的特征维度都是 H∗W∗D。

下图显示的，是在一张 feature map 上，对一个 5 * 7 的 ROI 区域进行 ROI Pooling 的结果，最后得到 2 * 2 的特征。

这时，可能有人会问，如果 ROI 区域太小怎么办？比如，拿 VGG16 来说，它要求 Pooling 后的特征为 7 * 7 * 512，如果碰巧 ROI 区域只有 6 * 6 大小怎么办？还是同样的办法，每个网格的大小取 6 / 7∗6 / 7=0.85∗0.85，然后，以宽为例，按照这样的间隔取网格：[0,0.85,1.7,2.55,3.4,4.25,5.1,5.95]

取整后，每个网格对应的起始坐标为：[0,1,2,3,3,4,5]

再如将大小不同的区域pooling为3*3：

 

3.3 Back-propagation through RoI pooling layers.  通过RoI池化层的反向传播。

从这篇借鉴理解RoI池化层：Fast R-CNN论文详解

１．首先看普通max pooling层如何求导

设xi为输入层节点，yi为输出层节点，那么损失函数L对输入层节点xi的梯度为：

其中判决函数δ(i,j)表示输入i节点是否被输出j节点选为最大值输出。

不被选中【δ(i,j)=false】有两种可能：xi不在yi范围内，或者xi不是最大值。

若选中【δ(i,j)=true 】则由链式规则可知损失函数L相对xi的梯度等于损失函数L相对yi的梯度×（yi对xi的梯度->恒等于1），故可得上述所示公式；

 

２．RoI max pooling层求导

设xi为输入层的节点，yri 为第r个候选区域的第j个输出节点，一个输入节点可能和多个输出节点相关连，如下图所示，输入节点7和两个候选区域输出节点相关连；

该输入节点7的反向传播如下图所示。

对于不同候选区域，节点7都存在梯度，所以反向传播中损失函数 L 对输入层节点 xi 的梯度为损失函数 L 对各个有可能的候选区域 r 【 xi 被候选区域r的第j个输出节点选为最大值 】输出 yri 梯度的累加，具体如下公式所示：

其中：

判决函数 [i=i∗(r,j)] 表示 i 节点是否被候选区域r 的第j 个输出节点选为最大值输出，若是，则由链式规则可知损失函数L相对 xi 的梯度等于损失函数 L 相对yri 的梯度×（ yrj 对xi 的梯度->恒等于1)，上图已然解释该输入节点可能会和不同的yrj有关系，故损失函数L相对xi 的梯度为求和形式。

 

4.网络参数训练

4.1参数初始化

网络除去末尾部分如下图，在ImageNet上训练1000类分类器。结果参数作为相应层的初始化参数。 
 
其余参数随机初始化。

4.2分层数据

在调优训练时，每一个mini-batch中首先加入N张完整图片，而后加入从N张图片中选取的R个候选框。这R个候选框可以复用N张图片前5个阶段的网络特征。 
实际选择N=2， R=128。

4.3训练数据构成，Mini-batch sampling.

作者从对象建议框（object proposal）中选择25%的RoI，这些RoI与ground-truth bbox边界框至少有0.5的部分交叉重叠，也就是正样本，即 u >= 1。其余的RoI选那些IoU重叠区间在[0.1,0.5)的，作为负样本，即 u = 0，大约为75%。之所以选择负样本需要大于0.1的阈值是因为使用启发式的hard example mining（低于0.1的IoU作为难例挖掘的启发式）。在训练期间，图像有0.5的概率水平翻转。R个候选框的构成方式如下：

类别比例方式
前景25%与某个真值重叠在[0.5,1]的候选框
背景75%与真值重叠的最大值在[0.1,0.5)的候选框

5.分类与位置调整

 

5.1子网络结构

第五阶段的特征输入到两个并行的全连层中（称为multi-task）。 

这里写图片描述
cls_score层用于分类，输出K+1维数组p，表示属于K类和背景的概率。 
bbox_prdict层用于调整候选区域位置，输出4*K维数组t，表示分别属于K类时，应该平移缩放的参数。

源码中bbox_loss_weights用于标记每一个bbox是否属于某一个类

5.2 多任务损失函数

作者这样设置的目的是想让loss对于离群点更加鲁棒，控制梯度的量级使得训练时不容易跑飞。 最后在5.1的讨论中，作者说明了Multitask loss是有助于网络的performance的。

smooth L1损失函数曲线如下图所示，相比于L2损失函数，其对离群点、异常值不敏感，可控制梯度的量级使训练时不容易跑飞；

5.3 全连接层提速

在实现时，相当于把一个全连接层拆分成两个，中间以一个低维数据相连。 
这里写图片描述

 

在github的源码中，这部分似乎没有实现。

6.实验与结论

实验过程不再详述，只记录结论 
- 网络末端同步训练的分类和位置调整，提升准确度 
- 使用多尺度的图像金字塔，性能几乎没有提高 
- 倍增训练数据，能够有2%-3%的准确度提升 
- 网络直接输出各类概率(softmax)，比SVM分类器性能略好 

- 更多候选窗不能提升性能

##部分公式有乱码，直接截图了。

参考资料：

1.tf版本：

https://github.com/zplizzi/tensorflow-fast-rcnn 

2.caffe版本,原作者 

3.RCNN学习笔记(2)：Fast R-CNN

https://blog.csdn.net/wonder233/article/details/53671018 

4.RCNN学习笔记(4)：fast rcnn

https://blog.csdn.net/u011534057/article/details/51241831 

5.【目标检测】Fast RCNN算法详解

 https://blog.csdn.net/shenxiaolu1984/article/details/51036677

P：重点参考，详细具体 

6.Fast RCNN算法详解

https://blog.csdn.net/u014380165/article/details/72851319 

7.论文笔记：Fast(er) RCNN

http://jermmy.xyz/2018/01/15/2018-1-15-paper-notes-fast-er-rcnn/ 

8.Fast-RCNN

https://blog.csdn.net/zijin0802034/article/details/53055010 

9.Fast R-CNN

https://zhuanlan.zhihu.com/p/24780395

LebronChen666
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
目标检测--Fast RCNN详解-多细节
qinghuaci666的博客
06-13 3401
Girshick, Ross. “Fast r-cnn.” Proceedings of the IEEE International Conference on Computer Vision. 2015. 继2014年的RCNN之后，Ross Girshick在15年推出Fast RCNN，构思精巧，流程更为紧凑，大幅提升了目标检测的速度。在Github上提供了源码。 同样使用最大规模的网...
RCNN系列之Fast RCNN详解
fangfang的专栏
01-09 2326
RCNN系列：RCNN，SPPNet，Fast RCNN，Faster RCNN，R-FCN。这一系列是个递进关系，也是目标检测使用two-stage方法的一个发展过程。想要更好的理解Faster RCNN和R-FCN，只能把这些算法都梳理清楚了，才能明白算法的整个优化过程。 本篇讲解的是Fast RCNN。2015年，在SPPNet之后发表在IEEE。 理解了SPPNet之后，我们知道了RC
目标检测—Fast RCNN
最新发布
2301_79573948的博客
06-18 2612
R-CNN是Ross Girshick大神的一大杰作，14年发表在CVPR上，目前已有超过2万的引用量，在目标检测领域有着里程碑式的意义。
Fast R-CNN论文详解
kk123k的博客
01-17 1203
R-CNN出来以后，首次将卷积神经网络带入目标检测领域。随着SPP-Net等的出现对它的改进，受SPP-Net的启发，Fast R-CNN出现了。 Fast R-CNN和R-CNN相比，训练时间从84小时减少为9.5小时，测试时间从47秒减少为0.32秒。在PASCAL VOC 2007上的准确率相差无几，约在66%-67%之间。 一.Fast R-CNN所解决R-CNN的两个问题 1、...
目标检测之faster Rcnn算法原理解读（faster Rcnn网络细节）02
qinchao315的博客
07-07 988
faster Rcnn原理：（注：本图是论文作者的图）faster Rcnn相比前一代fast Rcnn算法，比较重点的多了一个RPN层，而其他的结构和fast Rcnn是一模一样的。使用RPN（region proposals network）代替了传统的selective search算法提取候选框方法，从而达到了真正意义上的end to end结构。详细工作流程如下：1. 一张图片的输入，将...
Fast R-CNN 论文 笔记 及 源码解读
zhoujunr1的博客
04-22 391
Fast R-CNN 与RCNN SPPnet对比 RCNN首先finetune，使用log loss。然后，使用SVMs来训练，最后，使用bounding-box regressor。 代价大 慢 Fast R-CNN 模型结构和训练 一张图片首先经过几个卷积层和池化层产生特征向量，然后 for each object proposal a region of inter...
rcnn,sppnet,fast rcnn,faster rcnn16页详细讲解
11-21
详细的介绍最先进深度学习中目标检测算法rcnn,sppnet,fast rcnn,faster rcnn的实现原理和各个算法之间优缺点和递进性的改进的细节实现的效果。
Fast_RCNN
03-29
**Fast_R-CNN详解** Fast_R-CNN是目标检测领域中的一个重要算法，由Ross Girshick在2015年提出。它改进了早期的R-CNN（Regions with Convolutional Neural Networks）方法，显著提高了目标检测的速度和精度。本文将...
faster-RCNN的caffeWindows安装包
10-29
**faster-RCNN在Caffe上的Windows安装详解** faster-RCNN是一种先进的目标检测算法，由Kaiming He等人在2015年提出，它极大地提升了实时目标检测的精度和速度。该算法结合了R-CNN（Region-based Convolutional ...
rcnn-tflearn-flower
11-29
**RCNN-TFlearn-Flower 知识点详解** 标题中的"rcnn-tflearn-flower"项目是一个使用TFlearn库实现的区域卷积神经网络（Region-based Convolutional Neural Network, RCNN）在Flower数据集上的目标检测应用。这个...
FasterRCNN视频讲解-1.2 FasterRCNN 代码实现
03-13
讲解者会详细解释RPN的工作机制，它通过滑动窗口在特征图上生成多个尺寸和纵横比的锚点（Anchor），然后预测每个锚点是否包含物体以及其与目标的匹配程度。经过非极大值抑制（Non-Maximum Suppression, NMS），我们...
Faster-RCNN 训练过程错误记录
08-02
该文档是本人利用Faster-rcnn python版本训练VOC2007数据集时遇到的错误记录
用自己的数据集基于matconvnet训练fast rcnn
10-08
用自己的数据集基于matconvnet训练fast rcnn，代码主要分为3部分， fast_rcnn是原始代码， myfast_rcnn是在学习的过程中对原始代码的注释， breast_fast_rcnn：是对原始代码进行修改，训练自己DDSM数据的程序
RCNN, Fast RCNN, Faster RCNN
AlgoComp
07-30 2096
学习目标检测的三种方法：RCNN, Fast RCNN, Faster RCNN
目标检测算法——Fast R-CNN
Clichong
06-05 6079
文章目录1.Fast R-CNN简介2.Fast R-CNN处理过程1）候选区域的生成2）投影特征图获得相应的特征矩阵3）ROI层缩放4）展平特征图利用全连接层得到预测结果。3.Fast R-CNN损失函数4.Fast R-CNN总框架 1.Fast R-CNN简介 Fast R-CNN 其论文的名字就是 Fast R-CNN，原文链接。Fast R-CNN与R-CNN相同，同样使用VGG16作为网络的backbone，与R-CNN相比训练时间快9倍，测试推理时间快213倍，准确率从62%提升至66%(再P
目标检测——Fast R-CNN算法解读
lishanlu136的博客
12-01 2320
Fast R-CNN算法解读
[ 目标检测 ] 经典网络模型2——Fast R-CNN 详解与复现
A_John 的博客
05-08 7923
[ 目标检测 ] 经典网络模型2——Fast R-CNN 详解与复现 1、Fast Region-based Convolutional Network； 2、Fast R-CNN详解； 3、Fast R-CNN复现； Fast R-CNN 是一种基于区域卷积网络的快速目标检测方法 ； Fast R-CNN 比 R-CNN 快 9倍，在测试时快 213倍，在 PASCAL VOC 2012 上实现了更高的映射 ； 基于此作者提出了一种单阶段训练算法 (single-stage training)......
Faster RCNN训练自己的数据集【傻瓜式教程】
热门推荐
magicnnonn的博客
12-14 1万+
Faster RCNN训练自己的数据集【傻瓜式教程】
RCNN 训练方法详解：Fast R-CNN 和 Faster R-CNN 训练指南
RCNN 训练方法详解 RCNN（Region-based Convolutional Neural Networks）是一种基于深度学习的目标检测算法，由Ross Girshick 等人在 2013 年提出。RCNN 的训练方法是深入理解这项技术的关键所在。下面，我们将详细...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值