fast rcnn 论文解读（附代码链接）

最新推荐文章于 2024-10-09 15:17:15 发布
最新推荐文章于 2024-10-09 15:17:15 发布
阅读量2.7k 收藏 22
点赞数 5
分类专栏： 经典神经网络论文解读及代码实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiewenrui1996/article/details/105302563
版权
Fast R-CNN是一种改进的目标检测算法，解决了RCNN和SPPnet的多步训练、高资源消耗和慢速测试等问题。它实现了单步训练、多任务损失、全网络层更新，提升了检测速度和精度。通过ROIPooling、multi-task loss和SVD分解等技术，Fast R-CNN在常用数据集上表现出优异性能。
摘要由CSDN通过智能技术生成

要解决的问题

  • 1、RCNN和SPPnet分多步训练，先要fine tuning一个预训练的网络，然后针对每个类别都训练一个SVM分类器，最后还要用regressors对bounding-box进行回归，另外region proposal也要单独用selective search的方式获得，步骤比较繁琐。

  • 2、时间和内存消耗比较大。在训练SVM和回归的时候需要用网络训练的特征作为输入，特征保存在磁盘上再读入的时间消耗还是比较大的。

  • 3、测试的时候也比较慢，每张图片的每个region proposal都要做卷积，重复操作太多。

针对上述这些问题，本篇论文作者提出了fast rcnn网络，可以解决R-CNN和SPPnet的缺点，同时提高其速度和准确性。fast rcnn具有以下优点：

  • 1、高精度检测，训练是单步训练，而loss是multi-task loss。

  • 2、训练可以更新所有网络层，且内存不需要太大。

网络架构

fast rcnn的架构流程如下：网络有两个输入：图像和对应的已框出来的region proposal。其中region proposal由selective search方法得到，没有表示在流程图中。对每个类别都训练一个回归器，且只有非背景的region proposal才需要进行回归。架构是端到端多任务训练。

下面是网络的一般通用架构

架构实施具体细节

1、ROI polling layer：ROI Pooling的作用是对不同大小的region proposal，从最后卷积层输出的feature map提取大小固定的feature map。因为全连接层的输入需要尺寸大小一样，所以不能直接将不同大小的region proposal映射到feature map作为输出，需要做尺寸变换。即将一个hw的region proposal分割成HW大小的网格，然后将这个region proposal映射到最后一个卷积层输出的feature map，最后计算每个网格里的最大值作为该网格的输出，所以不管ROI pooling之前的feature map大小是多少，ROI pooling后得到的feature map大小都是H*W。

2、从预训练网络进行初始化：使用三个经过预训练的ImageNet网络进行实验，每个网络具有五个最大池化层以及五个到十三个conv层。当预训练的网络初始化Fast R-CNN网络时，它将经历三个转换。首先，最后一个最大池化层被RoI池化层代替，该RoI池化层通过将H和W设置为与网络的第一个完全连接层兼容（例如，对于VGG16，H = W = 7）进行配置。其次，将网络的最后一个完全连接层和softmax替换为先前描述的两个同级层（K + 1类的完全连接层和softmax以及特定于类别的bounding-box regressors）。第三，修改网络以获取两个数据输入：图像和这些图像的RoI。

3、multi-task loss:损失函数的定义是将分类的loss和回归的loss整合在一起，其中分类采用log loss，即对真实分类（下图中的pu）的概率取负log，而回归的loss和R-CNN基本一样。分类层输出K+1维，表示K个类和1个背景类。

这是回归的loss，其中t^u表示预测的结果，u表示类别。v表示真实的结果，即bounding box regression target。

4、采用SVD分解改进全连接层：truncate svd可以简化全连接层的计算，加快检测时间，且无需在模型压缩后执行其他微调。

训练

算法的主网络还是VGG16，输入是224* 224* 3，经过5个卷积层和2个降采样层（这两个降采样层分别跟在第一和第二个卷积层后面）后，进入ROI Pooling层，该层的输入是conv5层的输出和region proposal，region proposal的个数差不多2000。然后再经过两个都是output是4096的全连接层。最后分别经过output个数是21和84的两个全连接层（这两个全连接层是并列的，不是前后关系），前者是分类的输出，代表每个region proposal属于每个类别（21类）的得分，后者是回归的输出，代表每个region proposal的四个坐标。最后是两个损失层，分类的是softmaxWithLoss，输入是label和分类层输出的得分；回归的是SmoothL1Loss，输入是回归层的输出和target坐标及weight。

测试

与训练基本相同，最后两个loss层要改成一个softma层，输入是分类的score，输出概率。最后对每个类别采用NMS（non-maximun suppression）。

实验结果

fast rcnn在常用的数据集上表现出的性能都比SOTA要好。除了算法提升外，数据集越大算法的精度越高，所以数据是信息时代的“石油”。

fast rcnn在速度上的提升

更多细节

该论文还阐述了其他细节：

  • 1、在迁移学习基础上更新哪些层的参数实验

  • 2、SVM V.S. softmax，是否svm更有效

  • 3、输入多种规格的图片，更多训练数据

  • 4、multi-task training有助于提高精度吗

  • 5、比较实现尺度不变的目标检测的两种策略：蛮力匹配（brute-force learning）和图像金字塔。

结论

Fast RCNN不仅大大提高了检测速度，也提高了检测准确率。其中，其是对整张图像卷积而不是对每个region proposal卷积。ROI Pooling，分类和回归都放在网络一起训练、multi-task loss是算法的三个核心。当然Fast RCNN的主要缺点在于region proposal的提取使用selective search，目标检测时间大多消耗在这上面（提region proposal 2~3s，而提特征分类只需0.32s），这也是后续Faster RCNN的改进方向之一。

代码链接

论文最后把代码开源，github链接：https://github.com/rbgirshick/py-faster-rcnn

小小谢先生
关注
专栏目录
PV-RCNN论文和逐代码解析（一）
NNNNNathan的博客
03-11 8966
1、前言 当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 ...
目标检测算法Fast R-CNN论文解读
qq_32172681的博客
08-11 940
论文题目：Fast R-CNN 论文地址：https://arxiv.org/abs/1504.08083 代码地址：https://github.com/Liu-Yicheng/Fast-RCNN Fast R-CNN主要是解决RCNN重复计算卷积的问题，它的解决方案是，先对整个input图像做卷积，得到feature map，同时，用selective search将候选框选择出来...
运行Fast R-CNN的代码
taneijia的专栏
05-25 1万+
运行Fast R-CNN的代码标签（空格分隔）： vision FR-CNN是Ross Girshick的新作，从文章来看FR-CNN比R-CNN和SPPNet都快很多。当然R-CNN和SPPNet也都是Girshick的作品，FR-CNN的正确率不仅超越Girshick自己的嫡出，也超过了DPM等其他方法。 FR-CNN正如文章所说的是一个简单，并且Elegant的框架。和那些Pipeline的
52 个深度学习目标检测模型汇总，论文、源码一应俱全！（附链接）
数据派THU
03-08 1287
来源：AI有道本文约2000字，建议阅读5分钟本文给你总结52个深度学习检测模型。标签：计算机视觉目标检测作为计算机视觉中的一个重要分支，近些年来随着神经网络理论研究的深入和硬件 GPU...
【深度学习】使用FasterRCNN模型训练自己的数据集（记录全流程
最新发布
努力敲代码的小盆友
10-09 2709
浅浅记录训练两阶段模型FasterRCNN模型的过程
Faster-RCNN论文及原码解读
Dear_learner的博客
01-19 4845
目录一、模型的整体框架二、网络结构2.1 Conv Layers2.2 RPN(Region Proposal Networks)2.2.1 Anchors box的生成2.2.2 RPN实现原理2.2.2.1 rpn-data2.2.2.2 rpn_loss_cls,rpn_loss_bbox,rpn_cls_prob2.2.2.3 proposal2.2.2.4 roi_data2.3 ROI Pooling2.3.1 ROI Pooling2.3.2 ROI Align2.4 全连接层2.5 损失函数
论文：Fast R-CNN
cztAI的博客
07-01 1068
Fast R-CNN 论文：https://arxiv.org/abs/1504.08083 代码：https://github.com/rbgirshick/fast-rcnn 更多 目标检测 本文提出了一种基于快速区域的卷积网络(Fast R-CNN)目标检测方法。 因为检测需要对目标进行精确定位，所以产生了两个主要的挑战。首先，必须处理许多候选对象位置(通常称为“提议”)。其次，这些候选对象只提供粗定位，必须进行细化才能实现精确定位。这些问题的解决方案往往会牺牲速度、准确性或简洁性。 我们提出了一种
【论文精读】Fast R-CNN
takedachia的博客
08-18 2682
《Fast R-CNN》是同一个作者基于自己之前的R-CNN工作的改进。 Fast R-CNN也是基于深度卷积神经网络用于计算机视觉任务（主要用于目标检测）的算法。 他在R-CNN的基础上进行了大幅创新，比如将目标的分类和定位的步骤进行了统一，实现了端到端的训练、预测流程。 Fast R-CNN在使用VGG-16的主干网络时，训练速度比R-CNN快9倍，测试速度快了213倍，并提升了检测精度。 训练速度比SPPnet快了3倍，测试速度快了10倍，并提升了准确率。......
Fast R-CNN论文解读.md
02-10
本文从相关知识、主要贡献、模型结构、实验设计、模型评估五个方面解读了Fast R-CNN这一模型，本人新手，有不足之处还望大家指正。
Fast-R-CNN论文解读
勤劳鸟儿
02-20 3841
Fast-r-cnn是Ross在2015年发表的一篇论文，其网络全称为： Fast Region-based Convolutional Network method–用于目标检测的基于区域的快速卷积网络算法。 在于先前的网络R-CNN对比之下，其训练速度要快9倍，检测时间快出来213倍（R-CNN的检测时间GPU工作下为47s一张图片），同时在检测精度上也作了进一步的提升。 一、任务简介 在介绍中，作者提出目标检测任务相比分类来说更为复杂和困难，首先计算机要处理众多的候选目标区域（也就是proposal
Faster R-CNN论文详解
热门推荐
WoPawn的博客
08-16 3万+
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
【论文翻译】Fast R-CNN论文原文与中文翻译.rar
10-16
【论文翻译】目标检测经典论文——Fast R-CNN论文原文与中文翻译 【论文翻译】目标检测经典论文——Fast R-CNN论文原文与中文翻译
RCNN系列论文
12-26
RCNN Fast-RCNN Faster-RCNN Mask-RCNN系列论文 RCNN Fast-RCNN Faster-RCNN Mask-RCNN系列论文
代码FastRcnn
01-01
引用于github的fast rcnn代码，实现论文中 的目标检测程序，安装readme进行安装即可
02.Fast-RCNN原论文阅读
qq_43711266的博客
11-08 97
1）与图像分类任务相比，目标检测任务更加复杂和具有挑战性，因此当前训练模型的方法在multi-stage pipelines中是缓慢的。2）准确定位目标的复杂性产生了两个挑战。首先，必须处理大量候选对象位置（区域建议）。其次，这些候选区域简单的存放在本地中（磁盘中），必须对其进行细化以实现精确的本地化（减少数据量）。这些问题的解决方案通常会牺牲速度、准确性或简单性。3）本文提出了一种单阶段训练算法，可以共同学习对目标建议（区域建议）进行分类并细化其空间位置。
fasterrcnn论文_【论文解读】精读Faster RCNN
weixin_39601641的博客
11-21 518
Faster R-CNN论文链接：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks推荐代码：https://github.com/facebookresearch/Detectron （首推！Faster RCNN原班人马复现代码，模型有很多，Faster RCNN、端到端的Faster R...
CNN论文-Faster RCNN
lyqlola的博客
05-12 1236
I. Motivation   FastR-CNN中的Selective Search方法速度很慢，制约了模型的效率，Selective Search的缺点有：(1) 基于engineered low-level features，不能利用检测网络低层提取的特征；(2) 在CPU上运行，而CNN是在GPU上运行；   Faster R-CNN的创新点就在于让region proposal和dete...
Fast R-CNN论文笔记
xiaohu的博客
07-05 1684
论文原文：https://arxiv.org/abs/1504.08083 摘要 本文提出了一种快速的基于区域的卷积网络方法（fast R-CNN）用于目标检测。Fast R-CNN建立在以前使用的深卷积网络有效地分类目标的成果上。相比于之前的成果，Fast R-CNN采用了多项创新提高训练和测试速度来提高检测精度 Introduction 复杂性的产生是因为检测需要目标的精确定位，这就导致两个主...
fast rcnn代码
05-11
以下是使用Pytorch实现的Fast R-CNN代码示例： ```python import torch import torch.nn as nn import torch.nn.functional as F import torchvision.models as models class FastRCNN(nn.Module): def __init__(self, num_classes): super(FastRCNN, self).__init__() self.feature_extractor = models.vgg16(pretrained=True).features self.roi_pooling = nn.AdaptiveMaxPool2d((7, 7)) self.classifier = nn.Sequential( nn.Linear(512 * 7 * 7, 4096), nn.ReLU(inplace=True), nn.Dropout(), nn.Linear(4096, 4096), nn.ReLU(inplace=True), nn.Dropout(), nn.Linear(4096, num_classes) ) def forward(self, x, rois): x = self.feature_extractor(x) rois = self.roi_pooling(rois) rois = torch.flatten(rois, start_dim=1) x = torch.flatten(x, start_dim=1) x = torch.cat([x, rois], dim=1) x = self.classifier(x) return x ``` 其中，`num_classes`为目标分类数，`feature_extractor`为VGG16的卷积层，`roi_pooling`为自适应最大池化层，`classifier`为Fast R-CNN的分类器。在`forward`函数中，首先使用VGG16提取特征，然后对ROIs（Region of Interest，感兴趣区域）进行自适应最大池化，将提取到的特征与ROIs的特征拼接，最后通过分类器进行目标分类。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小谢先生

支持知识付费

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值