Fast R-CNN学习笔记

最新推荐文章于 2024-04-19 05:48:18 发布
最新推荐文章于 2024-04-19 05:48:18 发布
阅读量216 收藏
点赞数
分类专栏： CV炼丹之路 文章标签： 神经网络 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KeEN_Xwh/article/details/108918430
版权

本专栏将从论文的角度解读一下CV方向的一些经典神经网络模型及其贡献与意义，以期加深自己的印象，后续可以随时翻看并且学习其中好的tricks。上一期讲的SPPNet基于R-CNN最大的改进，其实就是对整张图而不是对2000个候选框进行特征提取，加快了速度，这一期来看看Fast R-CNN又做出了哪些改进。

论文相关信息

《Fast R-CNN》（论文链接），于2015年发表在CVPR上，相关信息如下：

在这里插入图片描述
论文所使用数据集为PASCAL VOC 2007、2010、2012数据集。

网络架构

在这里插入图片描述
从上图可以看出Fast R-CNN的架构，其实和SPPNet非常相似。首先在图像上使用选择性搜索抽取2000个推荐区域，然后把整张待检测的图片输入到CNN（Fast R-CNN论文中使用的是VGG，而R-CNN使用的是AlexNet）中，进行一次特征提取，得到feature map，然后在feature map中通过映射关系找到各个候选框对应的区域，再对各个候选框利用RoI池化（Region of Interest，由Selective Search算法提取的一系列可能含有object的bounding box，通常称为region proposals或者region of interest；RoI池化其实就是SPP池化的单尺度简化版本，具体可看这里）提取出固定长度的特征向量，到此都和之前说的SPPNet步骤一模一样。

在最后一步稍有差别，也是最大的改进：R-CNN和SPPNet都是拿得到的特征向量再去训练SVM分类和BBox回归，而Fast R-CNN 则是直接放入并行的bbox回归与softmax分类的多任务全连接层（图转自这里）：

在这里插入图片描述

损失函数具体公式为：

在这里插入图片描述
在这里插入图片描述
训练过程（图转自这里）：

在这里插入图片描述
测试过程（图也转自这里）：

在这里插入图片描述

tricks

这篇文章有一个特别好的点，在论文中直接通过清晰的实验来评估他们的各个tricks改进是否有效：

在这里插入图片描述
1、multi-task training（多任务训练）是否有效

首先多任务训练这种端到端的方式改进了Multiple-stage pipeline的方式，无疑是方便的，但是它对精度有什么影响呢？

如下图，S、M、L的第一列是只使用分类损失Lcls训练的模型，第二列则是使用上面提到的公式(1)多任务损失训练的模型，但测试时禁用了检测框回归，可以看到多任务损失确实能提高精度。第三列则是分段训练，在第一列训练好的模型基础上添加了检测框回归层，使用Lloc训练同时保持其他层参数冻结，第四列是正常的多任务训练和测试。第一列和第三列作为对照实验，证明了多任务训练确实能提高分类和回归的精度。
在这里插入图片描述
其中S、M、L：

在这里插入图片描述
在这里插入图片描述
即3个预训练ImageNet模型。第一个是来自R-CNN的CaffeNet（本质上是AlexNet），称为模型S。第二个网络是VGG_CNN_M_1024，该网络具有与模型S相同的深度，但是更广阔，称为模型M。最后一个网络是VGG16，称该网络为模型L。

2、RoI池化 or SPP池化

因为RoI池化是单尺度的，而SPP池化是多尺度的。作者们使用了指定的相同的五个尺度（s∈{480,576,688,864,1200}）来与SPPNet做比较：

在这里插入图片描述
令人惊讶的是，单尺度检测几乎与多尺度检测一样好，多尺度方法消耗大量的计算时间仅带来了很小的mAP增加，作者们认为这是因为深度卷积网络擅长直接学习尺度不变性。

3、更多的训练数据是否有用

在这里插入图片描述
显然…

4、SVM分类 or Softmax分类

Fast R-CNN在微调训练期间使用Softmax分类器，而在R-CNN和SPPNet中训练的是线性SVM：

在这里插入图片描述
本组对比实验说明，SVM略次于Softmax.

5、更多的候选框是否有用

SS产生的是候选区域的稀疏集合，那么使用密集集合效果如何呢？如果候选框只是纯粹扮演一个可能被选择的角色，增加每个图像的候选框数量应该不会使得mAP降低。

在这里插入图片描述
这个实验表明，用更多的候选区域没有帮助，甚至会起一点反效果。此外，使用平均召回率AR并不像mAP那样起到好的度量效果。

总结

Fast R-CNN 是针对 R-CNN 和 SPPNet 的改进，实现了端到端的多任务训练，也不再需要额外将特征保存在磁盘上，加快了速度的同时还节省了所需存储空间。

另外还有值得一提的一点，后续有学者在Fast R-CNN中使用EdgeBoxes算法（介绍）来代替SS算法，对于SS的优化也提高了Fast R-CNN很大一部分性能，相关论文给出的数据是Selective Search：2s/张，EdgeBoxes：0.2s/张，也就是提高了十倍的速度，在区域质量和速度之间取得了比较好的平衡。

但是即使Fast R-CNN用EdgeBoxes产生区域推荐，这一步仍然和整个检测网络花费了一样的时间，能不能针对这点改进呢？

KeEN丶X
关注
专栏目录
基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN
weixin_34277853的博客
05-04 5375
object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体还可以是多个类别。 object detection技术的演进：RCNN->Spp...
SPP Net
wyBluewind的博客
11-09 675
论文：《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》 地址：https://arxiv.org/abs/1406.4729 1 INTRODUCTION spp 可以在卷积层和全连接层中间实现信息聚合操作，避免了从网络的开始阶段使用 crop和warp操作。 作者注意到，SPP对于CN...
目标检测：rcnn-->sppnet-->fast rcnn-->faster rcnn
11-02 2222
R-CNN --> SPPNet-->  FAST-RCNN --> FASTER-RCNN   1、R-CNN:  https://zhuanlan.zhihu.com/p/23006190?refer=xiaoleimlnote (1)输入测试图像； (2)利用selective search 算法在图像中从上到下提取2000个左右的Region Proposal；
Fast R-CNN 学习笔记
丶夜未央丶的博客
06-25 725
Fast R—CNN 学习笔记先得回顾一下VGG16这个网络R-CNN的不足Fast R-CNN的改进之处过度一下SPP Net 首先附上Fast R-CNN的原文下载链接 https://pan.baidu.com/s/1E4XdgGs4BERPvbd3Ks7N4w 提取码：s9ux 初次开始在CSDN上写博客，最近在入门CV，开始学习R-CNN系列论文，这次附上关于Fast R-CNN论文学习的笔记，学习过程中参考了不少大佬写的博客。 先得回顾一下VGG16这个网络 我们知道R-CNN用的是Alexne
R-CNN——AlexNet模型学习
M_harbor的博客
02-14 2124
这篇文章到这里也就算完成了，它不是一篇原创文章，可以看做是一篇学习笔记，用于后续的复习、回顾，也期待能碰上疑义相与析的友人
R-CNN、Fast R-CNN、Faster R-CNN学习笔记
weixin_45897172的博客
03-09 612
R-CNN、Fast R-CNN、Faster R-CNN学习笔记
目标检测学习笔记（三）：Fast R-CNN
懿翛簃
08-28 592
原文参考：Fast R-CNN Fast R-CNN 是2015年 Ross Girshick 提出的目标检测优化模型，这个模型是建立在 R-CNN 和 SPPnet 模型的基础上进行改进的，实现了在训练及测试速率上都达到了很大程度上的优化。 首先，R-CNN 本身具有一些问题： R-CNN 是一种多步骤训练的模型（Multi-stage pipeline），先通过卷积网络对每一个输入的 obj...
目标检测（二）—— R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN
qq_38622495的博客
09-06 2806
R-CNN 区域卷积神经网络（Regions with CNN features，简称 R-CNN）使用深度模型来解决物体识别。 具体步骤： Sective Search 。对每张输入图像使用选择性搜索来选取多个高质量的提议区域。 Resize。对每个提议区域，将其变形成卷积神经网络需要的输入尺寸。 特征抽取。选取一个预先训练好的卷积神经网络，去掉最后的输出层来作为特征抽取模块。 ...
Fast R-CNN论文笔记《Fast R-CNN》
邬小阳
03-11 1680
1.Introduction     在之前介绍的R-CNN中，训练是分多阶段进行的（multi-stage pipeline），基本上都要分为4步：extracting features、fine-tuning a network with log loss、training SVMs和fitting bounding box regressors。新提出的SPPnet网络也和这个
目标检测 Fast R-CNN 论文笔记
Cyiano的博客
04-12 2692
此篇文章是 Ross Girshick 大牛在微软研究所单撸出来的一篇文章。基于14年 R-CNN 的大获成功，作者提出了其改进算法 Fast R-CNN 。Fast R-CNN 在VGG16 network下训练速度比R-CNN快了9倍，测试时间更是缩短了213倍，不仅如此，mAP也达到了最高水平。
【目标检测】R-CNN系列之Faster-RCNN
Alex-zzm
03-25 1134
基础特征提取网络：VGG、PVANet、ResNet、IncRes V2、ResNeXt1、Faster R-CNN的思想：        Faster R-CNN可以简单地看做“区域生成网络RPNs + Fast R-CNN”的系统，用区域生成网络代替FastR-CNN中的Selective Search方法。Faster R-CNN这篇论文着重解决了这个系统中的三个问题：1. 如何设计区域生成...
Faster-RCNN：跑demo
Alex_XT的博客
08-10 1506
转至：http://blog.csdn.net/GoJawee/article/details/73647249参考链接：小咸鱼——http://blog.csdn.net/sinat_30071459/article/details/50546891 Win7操作系统下，依次安装： 安装vs2013； 安装Matlab； 安装CUDA； 上面的安装顺序最好不要乱，否则可能出现Matla
R-CNN、Fast R-CNN、Faster R-CNN实现
今晚打老虎
03-29 756
R-CNN： 传统的目标检测算法： 使用穷举法（不同大小比例的滑窗）进行区域选择，时间复杂度高 对提取的区域进行特征提取（HOG或者SIFT），对光照、背景等鲁棒性差 使用分类器对提取的特征进行分类（SVM或Adaboost） R-CNN的过程： 采用Selective Search生成类别独立的候选区域 使用AlexNet来提取特征，输入是227*227...
目标检测(三) Fast R-CNN
weixin_30566063的博客
05-06 371
引言 之前学习了 R-CNN 和 SPPNet，这里做一下回顾和补充。 问题 R-CNN 需要对输入进行resize变换，在对大量 ROI 进行特征提取时，需要进行卷积计算，而且由于 ROI 存在重复区域，所以特征提取存在大量的重复计算； SPPNet 针对 R-CNN 进行了改进，其利用空间金字塔池化来解决形变问题，并且只计算一次卷积得到特征图，ROI 的特征从该特征图的对应区...
01 Faster R-CNN系列
weixin_63510030的博客
05-11 726
个人笔记。
【论文整理】：R-CNN、fast R-CNN、faster R-CNN三者的整理
Activewaste
07-05 2620
看了《基于特征共享的高效物体检测》论文后，为加强理解，网上找了关于R-CNN、Fast R-CNN、Faster R-CNN三篇论文的详解，现在先将三者的问题、创新点以及待改进的地方做一个表格，方便自己以后复习查阅。 参考： 对于这三篇论文的详解，网上有很多，个人特别喜欢是这个博主（WoPawn）写的文章。这三篇详解，写得太赞了，这里膜拜一下大佬，以后自己写论文笔记的时候，参考博主的笔记风格。 ...
Fast R-CNN论文笔记
xuefengxiaoyang的博客
05-19 851
论文链接：Fast R-CNN 摘要： 这篇论文提出了一个快速的基于候选区域的网络用于目标检测，叫做Fast R-CNN。Fast R-CNN是在之前的工作基础（R-CNN,SPPnet等）上改进的，相比于之前的工作，Fast R-CNN使用了几个创新的方法，不仅降低了训练和测试的时间，也提高了检测精度。使用VGG16作为主干网络，Fast R-CNN比R-CNN训练快9倍，测试快213倍，比...
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
最新发布
2301_78398209的博客
04-19 1108
有了候选区域，剩下的工作实际就是对候选区域进行图像分类的工作（特征提取+分类）。换言之，这个网络层可以把不同大小的输入映射到一个固定尺度的特征向量，而我们知道，conv、pooling、relu等操作都不需要固定size的输入，因此，在原始图片上执行这些操作后，虽然输入图片size不同导致得到的feature map尺寸也不同，不能直接接到一个全连接层进行分类，但是可以加入这个神奇的ROI Pooling层，对每个region都提取一个固定维度的特征表示，再通过正常的softmax进行类型识别。
深度学习目标检测：R-CNN与YOLO算法解析
这篇笔记涵盖了目标检测的重要发展历程，从传统的滑动窗口到深度学习的区域提名和端到端方法，深入分析了R-CNN系列和YOLO系列的优缺点，对于理解和研究目标检测算法具有很高的价值。随着技术的持续进步，未来的目标...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值