论文笔记 《Fast R-CNN》

最新推荐文章于 2024-07-07 00:32:38 发布
最新推荐文章于 2024-07-07 00:32:38 发布
阅读量1.4k 收藏
点赞数
分类专栏： 论文

转载自http://zhangliliang.com/2015/05/17/paper-note-fast-rcnn/

论文出处见：http://arxiv.org/abs/1504.08083
项目见：https://github.com/rbgirshick/fast-rcnn

R-CNN的进化版，0.3s一张图片，VOC07有70的mAP，可谓又快又强。
而且rbg的代码一般写得很好看，应该会是个很值得学习的项目。

动机

为何有了R-CNN和SPP-Net之后还要提出Fast RCNN（简称FRCN）？因为前者有三个缺点

  • 训练的时候，pipeline是隔离的，先提proposal，然后CNN提取特征，之后用SVM分类器，最后再做bbox regression。FRCN实现了end-to-end的joint training(提proposal阶段除外)。
  • 训练时间和空间开销大。RCNN中ROI-centric的运算开销大，所以FRCN用了image-centric的训练方式来通过卷积的share特性来降低运算开销；RCNN提取特征给SVM训练时候需要中间要大量的磁盘空间存放特征，FRCN去掉了SVM这一步，所有的特征都暂存在显存中，就不需要额外的磁盘空间了。
  • 测试时间开销大。依然是因为ROI-centric的原因，这点SPP-Net已经改进，然后FRCN进一步通过single scale testing和SVD分解全连接来提速。

整体框架

整体框架如Figure 1，如果以AlexNet（5个卷积和3个全连接）为例，大致的训练过程可以理解为：

  1. selective search在一张图片中得到约2k个object proposal(这里称为RoI)
  2. 缩放图片的scale得到图片金字塔，FP得到conv5的特征金字塔。
  3. 对于每个scale的每个ROI，求取映射关系，在conv5中crop出对应的patch。并用一个单层的SPP layer（这里称为Rol pooling layer）来统一到一样的尺度（对于AlexNet是6x6）。
  4. 继续经过两个全连接得到特征，这特征有分别share到两个新的全连接，连接上两个优化目标。第一个优化目标是分类，使用softmax，第二个优化目标是bbox regression，使用了一个smooth的L1-loss.

除了1，上面的2-4是joint training的。
测试时候，在4之后做一个NMS即可。


整体框架大致如上述所示了，对比回来SPP-Net，可以看出FRCN大致就是一个joint training版本的SPP-Net，改进如下：

  1. SPP-Net在实现上无法同时tuning在SPP layer两边的卷积层和全连接层。
  2. SPP-Net后面的需要将第二层FC的特征放到硬盘上训练SVM，之后再额外训练bbox regressor。

接下来会介绍FRCN里面的一些细节的motivation和效果。

Rol pooling layer

Rol pooling layer的作用主要有两个，一个是将image中的rol定位到feature map中对应patch，另一个是用一个单层的SPP layer将这个feature map patch下采样为大小固定的feature再传入全连接层。
这里有几个细节。

  1. 对于某个rol，怎么求取对应的feature map patch？这个论文没有提及，笔者也还没有仔细去抠，觉得这个问题可以到代码中寻找。:)
  2. 为何只是一层的SPP layer？多层的SPP layer不会更好吗？对于这个问题，笔者认为是因为需要读取pretrain model来finetuning的原因，比如VGG就release了一个19层的model，如果是使用多层的SPP layer就不能够直接使用这个model的parameters，而需要重新训练了。

Multi-task loss

FRCN有两个loss，以下分别介绍。
对于分类loss，是一个N+1路的softmax输出，其中的N是类别个数，1是背景。为何不用SVM做分类器了？在5.4作者讨论了softmax效果比SVM好，因为它引入了类间竞争。（笔者觉得这个理由略牵强，估计还是实验效果验证了softmax的performance好吧 ^_^）
对于回归loss，是一个4xN路输出的regressor，也就是说对于每个类别都会训练一个单独的regressor的意思，比较有意思的是，这里regressor的loss不是L2的，而是一个平滑的L1，形式如下：



作者这样设置的目的是想让loss对于离群点更加鲁棒，控制梯度的量级使得训练时不容易跑飞。
最后在5.1的讨论中，作者说明了Multitask loss是有助于网络的performance的。

Scale invariance

这里讨论object的scale问题，就是网络对于object的scale应该是要不敏感的。这里还是引用了SPP的方法，有两种。

  1. brute force （single scale），也就是简单认为object不需要预先resize到类似的scale再传入网络，直接将image定死为某种scale，直接输入网络来训练就好了，然后期望网络自己能够学习到scale-invariance的表达。
  2. image pyramids （multi scale），也就是要生成一个金字塔，然后对于object，在金字塔上找到一个大小比较接近227x227的投影版本，然后用这个版本去训练网络。

可以看出，2应该比1更加好，作者也在5.2讨论了，2的表现确实比1好，但是好的不算太多，大概是1个mAP左右，但是时间要慢不少，所以作者实际采用的是第一个策略，也就是single scale。
这里，FRCN测试之所以比SPP快，很大原因是因为这里，因为SPP用了2，而FRCN用了1。

SVD on fc layers

对应文中3.1，这段笔者没细看。大致意思是说全连接层耗时很多，如果能够简化全连接层的计算，那么能够提升速度。
具体来说，作者对全连接层的矩阵做了一个SVD分解，mAP几乎不怎么降（0.3%），但速度提速30%

Which layers to finetune?

对应文中4.5，作者的观察有2点

  1. 对于较深的网络，比如VGG，卷积层和全连接层是否一起tuning有很大的差别（66.9 vs 61.4）
  2. 有没有必要tuning所有的卷积层？答案是没有。如果留着浅层的卷积层不tuning，可以减少训练时间，而且mAP基本没有差别。

Data augment

在训练期间，作者做过的唯一一个数据增量的方式是水平翻转。
作者也试过将VOC12的数据也作为拓展数据加入到finetune的数据中，结果VOC07的mAP从66.9到了70.0，说明对于网络来说，数据越多就是越好的。

Are more proposals always better？

对应文章的5.5，答案是NO。
作者将proposal的方法粗略地分成了sparse（比如selective search）和dense（sliding windows）。


如Figure 3所示，不管是哪种方法，盲目增加proposal个数反而会损害到mAP的。

作者引用了文献11的一句话来说明：““[sparse proposals] may improve detection quality by reducing spurious false positives.”
然后笔者搜索了一下，发现文献11被TPAMI15录取了，看来也是要看一下啊。。

Fast R-CNN 论文笔记

一、为什么提出Fast R-CNN

因为Fast R-CNN的前任R-CNN和SPP-net不给力。

R-CNN训练分为多个阶段，步骤繁琐: 微调网络+训练SVM+训练边框回归器; 训练耗时又耗内存; 目标检测又慢。

SPP-net虽然比R-CNN快一些，但和R-CNN同样存在训练步骤繁锁的问题，而且无法更新SPP-net之前的卷积层。

二、Fast R-CNN的框架

Fast R-CNN的输入: 一整张图像和一系列目标候选区域（object proposal）。

1）首先用conv和max_pooling层处理整张图像，生成一张特征图（feature map）。

2）然后RoI_pooling层对感兴趣的部分区域（a region of interest）提取固定长度的特征向量。

3）特征向量通过全连接层后，分别输出到softmax层和bbox_regressor层。

Fast R-CNN

注意：

1）RoI_pooling层用的方法是，把 h×w 的感兴趣区域（RoI)分到固定大小的 H×W 网格中，然后对每一个网格取其最大值，这样得到的特征向量也是固定长度的，实际上这是SPP-net的一种特殊情况。

2）softmax层输出目标属于各类的概率大小，这里背景算额外的一类。

3）bbox_regressor层输出4维向量，描述一个框，即框的左顶点、长、宽。

三、Fast R-CNN的优点

1）相比较于R-CNN和SPP-net，Fast检测质量更高（mAP)。

2）训练只有一个阶段，使用了多任务损失函数。

3）相比较于SPP-net，训练可以更新所有的层。

4）缓存特征时不需要硬盘存储。

四、Fast R-CNN的缺点

我若能发现就能先写出下一篇的Faster R-CNN了~_~

发现论文中的不足，是我急需要提升的能力。

五、Fast R-CNN的补充

作者在文中研究了一些问题。

1）多任务训练能起到帮助吗？

答：能。它能提高分类准确率。

2）尺度不变性：单尺度 or 多尺度？

答：实验表明单尺度检测几乎与多尺度检测同样好，说明深度卷积网络本身就能擅长直接学习尺度不变性。

3）需要更多的数据吗？

答：实验表明，更多的数据的确提高了准确率。

4）SVMs比softmax好？

答：实验表明，softmax表现还稍胜SVMs一筹。

5）候选区域是越多越好吗？

答：不见得。

快速R-CNN，对R-CNN和SPPNet的加速，使用multi-task 进行单步训练，网络使用的是VGG16。R-CNN对每个proposal单独warp处理，SPPNet将warp放到最后一个卷积层的后面，将多个池化网格的结果串联到SPP中。SPPNet的微调算法只能更新全连接层，限制了深层网路VGG16发挥性能。 
主要贡献： 
1.比R-CNN检测率更高 
2.单步训练，使用multi-class loss 
3.可在训练的时候更新所有的网络层 
4.特征不需要存储到硬盘中

1.快速R-CNN训练: 
使用ConvNet在ImageNet上进行初步训练，构建具有几个卷积层和最大化池化层的网络，接下来有一个RoI池化层和几个全连接层，网络最终以两个子层收尾，一个输出K+1类目标的softmax概率，另外一个输出对应每类的4个实数值（bbox）,结构如下图所示： 
这里写图片描述 
1）RoI池化层 
SPPNet中空间金字塔池化的简化，只有一层，RoI池化层的输入是N个特征图和R个RoI区域，特征图是卷积层的输出，大小是H*W*C。RoI是一个多元组（n,r,c,h,w）,对应每个特征图的位置和大小。该层的输出是最大池化特征图 
2）使用初训练的网络 
有三个初始训练的网络，有5个最大池化层和5到13个卷积层，快速R-CNN对它进行了三个变形：最大池化层由一个RoI池化层取代，网络最后一层由两个子层取代，网络接受图像和RoI两种输入 
3）检测微调 
快速R-CNN将softmax 分类器和bbox 回归一起优化，解决参数微调不能后向传播到SPP之前层的问题，整个流程包括loss,mini-batch sampling,bp through RoI pooling layers, SGD hyperparameters.

A. multi-task loss 
使用multi-task loss联合训练分类及回归： 
这里写图片描述 
k∗  是真是类标记， Lcls(p,k∗)=−logpk∗  为标准log损失。 Lcoc  是类 k∗  的bbox的真实坐标 t∗ 和预测坐标t定义，bbox回归的loss为: 
这里写图片描述 
L1  loss比起 L2  loss对outliers更不敏感， λ  是平衡两种loss的超参数

B. mini-batch sampling 
每个SGD的mini-batch由N=2副图构建，mini-batch的数目R为128，从每副图中采样64个RoI，从proposal中选取与ground truth的IoU>0.5的RoI作为正样本，其余的IoU值在[0.1,0.5)之间的作为负样本。

C. BP through RoI pooling layers 
multi-task loss在RoI 池化层的R个输出上进行平均，RoI池化层的后向传播计算损失函数对每个输入变量x的偏导： 
这里写图片描述

D. SGD 超参数 
全连接层由零均值高斯分布初始化，方差为0.01和0.001，权值学习率为1，偏量学习率为2，30k mini-batch迭代。

2.快速R-CNN检测

输入一个单尺度图像和约2000个proposals，对于每个RoI r,网络输出r的后验概率和bbox，根据概率分配一个置信水平给r。

A. Truncated SVD for faster detection 
需要处理的RoI比较多，网络需要花将近一半的时间在全连接层上，论文使用truncated SVD压缩全连接层，全连接层又 u×v  的权值矩阵W表示： 
W≈UΣtVT  
因式分解过程中，U是W的前t个左奇异向量， Σt  是W奇异值组成的对角矩阵，V是W的前t个右奇异向量，truncated SVD将参数的个数由uv降到t(u+v)。对应W的全连接层被分解成两个，第一个使用权值矩阵 ΣtVT ，第二个使用U，实现了对网络的


2014wzy
关注
专栏目录
论文笔记
gzw110605110的博客
01-16 389
论文题目：SFCN-OPI: Detection and Fine-Grained Classification of Nuclei Using Sibling FCN with Objectness Prior Interaction 动机： 由于核的尺寸小、类间类内方差大、图像质量差，以往的自动检测方法容易受到精度和鲁棒性的影响。 现有的方法通常独立处理这细胞核检测和细粒度分类两个任务，忽略了...
[论文笔记] R-CNN for Small Object Detection 阅读笔记
qq_44690067的博客
08-01 663
R-CNN for Small Object Detection，用于小目标检测的改进R-CNN
Fast R-CNN(论文阅读)
最新发布
Xiao_Ya__的博客
07-07 832
Fast R-CNN(论文阅读)
深度学习论文笔记：Fast R-CNN
JacobKong的博客
02-18 1796
知识点 mAP：detection quality. Abstract 本文提出一种基于快速区域的卷积网络方法（快速R-CNN）用于对象检测。 快速R-CNN采用多项创新技术来提高训练和测试速度，同时提高检测精度。 采用VGG16的网络：VGG: 16 layers of 3x3 convolution interleaved with max pooling + 3 fully-connected
论文笔记|Fast R-CNN
bea_tree的博客
06-19 3276
Author Ross Girshick Abstract Compared to SPP net, Fast R-CNN trains VGG16 x3 faster, tests 10x faster, and is more accurate. 1 Introduction Localization challenges: 1. numerous candidate ob
Fast R-CNN论文阅读笔记
weixin_39958313的博客
02-12 452
1、介绍 R-CNN提供了非常准确的目标检测，但是它也有弊端：1、训练是多阶段的：用log loss先在目标提议上微调卷积网络，然后，用SVM做目标检测器，最后学习边界框回归。2、训练在空间时间上成本高：对于SVM和边界框回归训练，特征从每个图片的每个目标提议上提取并写入磁盘，很深的网络产生特征需要非常大的存储。3、目标检测慢：测试阶段，特征从每个测试图片的每个目标提议上提取，耗时长。 ...
Fast R-CNN论文笔记《Fast R-CNN》
邬小阳
03-11 1669
1.Introduction     在之前介绍的R-CNN中，训练是分多阶段进行的（multi-stage pipeline），基本上都要分为4步：extracting features、fine-tuning a network with log loss、training SVMs和fitting bounding box regressors。新提出的SPPnet网络也和这个
目标检测学习笔记（三）：Fast R-CNN
懿翛簃
08-28 572
原文参考：Fast R-CNN Fast R-CNN 是2015年 Ross Girshick 提出的目标检测优化模型，这个模型是建立在 R-CNN 和 SPPnet 模型的基础上进行改进的，实现了在训练及测试速率上都达到了很大程度上的优化。 首先，R-CNN 本身具有一些问题： R-CNN 是一种多步骤训练的模型（Multi-stage pipeline），先通过卷积网络对每一个输入的 obj...
【论文整理】：R-CNN、fast R-CNN、faster R-CNN三者的整理
Activewaste
07-05 2600
看了《基于特征共享的高效物体检测》论文后，为加强理解，网上找了关于R-CNN、Fast R-CNN、Faster R-CNN三篇论文的详解，现在先将三者的问题、创新点以及待改进的地方做一个表格，方便自己以后复习查阅。 参考： 对于这三篇论文的详解，网上有很多，个人特别喜欢是这个博主（WoPawn）写的文章。这三篇详解，写得太赞了，这里膜拜一下大佬，以后自己写论文笔记的时候，参考博主的笔记风格。 ...
论文笔记（Oriented R-CNN，ICCV2021）
qq_39858171的博客
10-28 1172
Oriented R-CNN是一种通用的两阶段有向目标检测方法，它能够在保证高检测精度的同时兼顾检测效率。具体来说，在Oriented R-CNN的第一阶段，我们提出了一种有向候选框生成网络（Oriented RPN），它以低计算成本的方式生成高质量的有向候选框。Oriented R-CNN的第二阶段是有向目标检测头，它用于有向候选框的分类和精细回归。
论文笔记 Fast R-CNN细节
xiaoxiang_AQ 的博客
10-15 1893
当我决心认真地看Faster R-CNN代码的时候，我就觉得有必要把 Fast R-CNN的论文的细节再从新完整地看一遍了。对，是细节，如何实现的部分，于是有了此篇博客。请注意是 Fast R-CNN笔记。
论文笔记（一）
Gun_powder_的博客
05-11 269
还有几周才轮到我，先从开始读到现在的过程记录下来，省得到时候重头再来。 对NLP什么都不懂就开始读这个属实很困难，能理解多少是多少吧。 首先看看论文里都有什么图 第一张图，展示了树结构层级累积的过程。将一个语义树转换为向量S，向量S接着从垂直方向自底向上累积。好的，不怎么懂。 第二张图，层级嵌入。每一个模块都是一个嵌入向量。现在还不知道什么意思。 第三张图，子树掩盖。看起来是把某些信息掩盖掉。 第四张图，基于树的注意力机制的编码和解码过程，圆箭头表示进行了层次累计。目前不知道
论文写作笔记
m0_51946536的博客
11-02 979
论文摘要(Abstract)是对整篇论文的高度浓缩和概括,是论文的精华部分，摘要是论文的“窗口”,通过摘要能快速判断论文是否值得细读,是论文重要的组成部分。撰写高质量的摘要对论文至关重要.说明问题及其重要性本句可以说明问题所属的领域, 解释最重要的概念, 并强调问题的重要性.反例: Attribute reduction is an important issue in data mining.
论文笔记1
hhu_lyc的博客
01-23 422
一、面向大数据的慕课评论语义分析模型 （一）慕课评论的语义分析模型  慕课与校园内的在线课堂不同，具有明显的大规模和开放性的特征，主要表现在以下两个方面： 1. 慕课评论具有大数据的特征。 由于慕课的受众往往以千或万为单位， 远非校园内的小规模在线课程可比。如此巨大的数据如果仅靠人工进行分析，将耗时耗力且效率低下。如何建立有效的分析机制，尤其是通过小规模的人工标注训练数据来对大规模实际数据进
论文笔记（Attentive Recurrent Social Recommendation）
CICI❤️的博客
08-14 1024
注意力循环社交推荐 原文链接：Attentive Recurrent Social Recommendation, SIGIR’18 摘要 协同过滤（CF）是建立推荐系统最受欢迎的方式之一。为了解决协同过滤中数据稀疏性的问题，社交推荐（social recommendation）出现了，他利用用户之间的社交影响来得到更好的推荐效果。在这些系统中，随着时间的推移，用户的偏好取决于他们的时间动态兴趣（...
Fast R-CNN：深度学习目标检测的高效网络
"Fast R-CNN是Ross Girshick在微软研究院提出的一种快速的区域卷积网络方法，用于提升目标检测的效率和准确性。它在R-CNN的基础上进行了改进，通过区域生成网络（Region Proposal Network, RPN）替代了Selective ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值