目标检测——Faster R-CNN算法解读

已于 2024-03-18 09:49:23 修改
阅读量1.8k 收藏 22
点赞数 35
分类专栏： # 目标检测 文章标签： 目标检测 R-CNN 人工智能 算法
于 2023-12-01 09:50:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lishanlu136/article/details/134726915
版权

论文：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
作者：Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun
链接：https://arxiv.org/abs/1506.01497
代码：https://github.com/rbgirshick/py-faster-rcnn

R-CNN系列其他文章：

目录

1、算法概述

之前的工作，像SPPnet和Fast R-CNN虽然都相对于R-CNN在提取特征的时间上有所改进，但针对区域候选框的生成这一步未做改进，这是两个算法的不足之处，此论文提出了Region Proposal Network(RPN)通过共享卷积层自动生成区域候选框：通过将RPN集成到Fast R-CNN中可实现区域候选框生成、类别预测及边界框预测一步到位，用VGG-16作为主干，在GPU上推理能达到5fps。Faster R-CNN在2015年的ILSVRC和COCO竞赛中取得了第一名的成绩。

2、Faster R-CNN细节

先说区域候选框的选取规则，为了尽量完全地包含图像中的目标，区域候选框旨在有效地预测具有广泛尺度和纵横比。目前的方式如下图几种：
在这里插入图片描述
图1-a中是图像金字塔，图1-b是卷积核金字塔(通过变换卷积核大小)，图1-c就是本文采用的方法，在特征图上应用多尺度/多纵横比的矩形框参考(论文中命名为“anchor”)，这样可以避免枚举多个比例或宽高比的图像或卷积核。Faster R-CNN由于这样的操作，使得可以在单一尺度图像上完成候选框生成工作从而提高了运行速度。其整体网络框图如下所示：
在这里插入图片描述
Faster R-CNN由两部分组成，第一部分为由全卷积网络组成的RPN结构，第二部分为Fast R-CNN检测器。如上图所示，RPN结构可以集成到Fast R-CNN中，共享其网络前部产生的特征图。当RPN模块产生区域候选框后，告诉Fast R-CNN模块区域候选框的位置，后面就是延续Fast R-CNN的操作了，应用RoI Pooling，然后输出接分类和回归分支。

2.1 Region Proposal Networks

候选框生成网络(RPN)接受任意大小的图像作为输入并输出一组矩形框做为目标的候选框，每个候选框都有一个是否是目标的得分(objectness，用softmax，只有两类，是目标或是背景，也可以用逻辑回归直接回归一个是目标的分数)。RPN结构为全卷积网络，文中采用ZFNet和VGG16，在特征图上应用3x3大小的滑窗将特征转换为256个1x1大小的特征图(ZFNet)和512个1x1大小的特征图(VGG16)，最后用1x1大小的卷积核接分类分支和回归分支。
在这里插入图片描述
Anchors
每个滑窗包含有k个anchor boxes，所以每个3x3大小的滑窗对应有2k个分类分数和4k个坐标框预测。如上图所示，文中k取9，包含3个尺度，每个尺度包含3个宽高比；对于一个WxH大小的特征图，共生成WHk个anchor。由于这种基于锚点的多尺度设计，我们可以简单地使用在单尺度图像上计算的卷积特征，多尺度锚框的设计是共享特征而不需要为寻找多尺度花费额外成本的关键组件。

样本选择
正样本：该anchor与ground-truth拥有最高的IoU，或者该anchor与任意一个ground-truth的IoU都大于0.7。这里就说明一个ground-truth可以为多个anchor分配正样本标签。
负样本：与所有ground-truth的IoU都小于0.3的anchor被视为负样本。
其他剩余的anchor被丢弃，没有参与到RPN训练中。

Loss Function
RPN的损失函数有些类似于Fast R-CNN的多任务损失，如下：
在这里插入图片描述
Lcls为二分类损失，Lreg为回归损失，采用smoothL1，其中正负样本均参与分类损失的计算，回归损失只有正样本参与计算。对于bounding-box回归，也是采用类似R-CNN的做法，学习基于anchor的偏移量，预测box，anchor box，和ground-truth box之间的关系如下面公式：
在这里插入图片描述
例如针对某个预测box，使得anchor box中心点xa与预测box中心点x的距离尽量接近anchor box中心点xa与ground-truth box中心点x*的距离，其他三个值同理，这样就等价于预测box接近ground-truth box了。

训练RPN
训练RPN网络的样本都是来自图片的anchor样本选取的正负样本，由于负样本较多，会造成正负样本不平衡问题，所以我们设置batchsize为256，正负样本比例为1:1，如果正样本少于128，就用负样本补齐。

2.2 RPN和Fast R-CNN共享卷积特征

论文采用四步交替训练的方式实现RPN与Fast R-CNN的统一：

  • 第一步：用ImageNet预训练模型微调RPN网络；
  • 第二步：用RPN网络生成的区域候选框训练Fast R-CNN，训练之前也用ImageNet预训练模型初始化参数，这两步RPN和Fast R-CNN还没有共享卷积层参数；
  • 第三步：用Fast R-CNN前部分卷积层参数初始化RPN训练，但是固定住共享层的参数，单独更新RPN独有部分的参数，这个时候就保证两个网络共享卷积层参数一致了。
  • 第四步：固定住共享卷积层参数，微调Fast R-CNN独有部分的参数。

3、实验结果

作者在VOC2007，VOC2012上测试结果如下：
在这里插入图片描述
在这里插入图片描述
和用SS方式生成区域候选框的时间对比结果如下：
在这里插入图片描述

4、创新点和不足

  • 创新点：
    1、提出RPN网络生成候选框并集成到Fast R-CNN网络中，使得推理速度进一步得到提升；
    2、提出anchor锚框的概念，使得能在一张图片上得到多尺度多宽高比的预测框学习参考；
    3、 提出交替训练方法，使得RPN与Fast R-CNN能共享卷积层参数。
  • 不足：
    1、二阶段方法，推理速度还是难以在终端上运行；

突然想到yolo系列和这个RPN不谋而合啊，yolov2可以算单尺度版的RPN，yolov3可以算FPN版的RPN，只是yolo多了个类别识别分支，anchor设置不同，且分配正负样本的方式不同而已。

lishanlu136
关注
  • 35
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
目标检测篇——Faster R-CNN
weixin_43872060的博客
06-04 7100
目录1. Faster R-CNN理论1.1 R-CNN(Region with CNN feature)1.1.1 R-CNN概述1.1.2 R-CNN流程1.1.3 R-CNN框架1.1.4 R-CNN存在的问题1.2 Fast R-CNN1.2.1 Fast R-CNN概述1.2.2 Fast R-CNN流程1.2.3 Fast R-CNN损失函数1.2.4 Fast RCNN框架1.2.5 Fast RCNN存在的问题1.3 Faster R-CNN1.3.1 Faster R-CNN概述1.3.2
Faster R-CNN backbone - ResNet101.zip
07-03
标题"Faster R-CNN backbone - ResNet101.zip"涉及的是计算机视觉领域的一个关键算法——Faster R-CNN（快速区域卷积神经网络），它使用ResNet101作为其基础特征提取网络。Faster R-CNN是目标检测领域的里程碑式工作...
基于改进的Faster R-CNN目标检测算法
02-13
目标检测是计算机视觉研究中的热门问题,其中加速区域卷积神经网络(Faster R-CNN)对目标检测具有指导意义。针对Faster R-CNN算法在目标检测中准确率不高的问题,先对数据进行增强处理;然后对提取的特征图进行裁剪,利用双线性插值法代替感兴趣区域池化操作,分类时采用软非极大值抑制(Soft-NMS)算法。实验结果表明,该算法在PASCAL VOC2007、PASCAL VOC07+12数据集下的准确率分别为76.40%和81.20%,相较Faster R-CNN算法分别提升了6.50个百分点和8.00个百分点。没有进行数据增强的情况下,在COCO 2014数据集上的准确率相较Faster R-CNN算法提升了2.40个百分点。
目标检测——Fast R-CNN算法解读
lishanlu136的博客
12-01 2195
Fast R-CNN算法解读
Faster R-CNN：端到端的目标检测网络
最新发布
新缸中之脑
06-03 789
传统的对象检测技术遵循下图给出的 3 个主要步骤。第一步涉及生成多个区域提案。这些区域提案是可能包含对象的候选区域。这些区域的数量通常为几千个，例如 2,000 个或更多。一些生成区域提案的算法的示例是选择性搜索和 EdgeBox。从每个区域提案中，使用各种图像描述符（例如方向梯度直方图 (HOG)）提取固定长度的特征向量。该特征向量对于对象检测器的成功至关重要。即使对象由于某些变换（例如缩放或平移）而发生变化，该向量也应该充分描述对象。然后使用特征向量将每个区域提案分配给背景类或对象类之一。
Faster RCNN目标检测模型原理及代码
m0_53414416的博客
01-12 2262
​ 本项目两个模型均采用的是VOC数据集。它是一个广泛用于计算机视觉任务的图像数据集，其全称为PASCAL Visual Object Classes。该数据集最初由牛津大学的计算机视觉研究组（Visual Geometry Group）创建，并于2005年首次发布。VOC数据集的目标是提供用于对象识别和检测的标准测试基准，以推动计算机视觉研究和算法的发展。​ 该数据集包含20个常见的物体类别，包括人、车辆、动物和家居物品等。
Faster-RCNN代码详解
weixin_51528791的博客
01-23 1339
部分注释中写的参数以mobilenet为Backbone，Pascal VOC为数据集作举例注释以特征图size=(34,25)为例，不同大小的图片生成的特征图尺寸不一定相同。
Faster R-CNN详解
fakerth的博客
11-27 2671
Faster R-CNN详解
FasterRCNN与RCNN概述
FPGA/MATLAB学习教程/源码/项目合作开发
03-25 1305
3*3滑窗中心点位置，对应预测输入图像3种尺度（128,256,512），3种长宽比（1:1,1:2,2:1）的regionproposal，这种映射的机制称为anchor，产生了k=9个anchor。在Faster R-CNN中，R表示的是RPN(Region Proposal Networks)的网络，专门用来推荐候选区域的，RPN可以理解为一种全卷积网络，该网络可以进行end-to-end的训练，最终目的是为了推荐候选区域。根据这些定义，我们对目标函数Fast R-CNN中的多任务损失进行最小化。
FasterRCNN目标检测算法
追光少年的博客
05-02 6228
什么是FasterRCNN目标检测算法 Faster-RCNN是一个非常有效的目标检测算法，虽然是一个比较早的论文， 但它至今仍是许多目标检测算法的基础。 Faster-RCNN作为一种two-stage的算法，与one-stage的算法相比，two-stage的算法更加复杂且速度较慢，但是检测精度会更高。 事实上也确实是这样，Faster-RCNN的检测效果非常不错，但是检测速度与训练速度有待提高。 源码下载 https://gitee.com/yu_shaonian/faster-rc
目标检测算法——Fast R-CNN
Clichong
06-05 5976
文章目录1.Fast R-CNN简介2.Fast R-CNN处理过程1）候选区域的生成2）投影特征图获得相应的特征矩阵3）ROI层缩放4）展平特征图利用全连接层得到预测结果。3.Fast R-CNN损失函数4.Fast R-CNN总框架 1.Fast R-CNN简介 Fast R-CNN 其论文的名字就是 Fast R-CNN，原文链接。Fast R-CNN与R-CNN相同，同样使用VGG16作为网络的backbone，与R-CNN相比训练时间快9倍，测试推理时间快213倍，准确率从62%提升至66%(再P
Faster RCNN算法解析（附源代码，可以直接运行）
热门推荐
qq_29462849的博客
05-30 5万+
一、前言知识 1、基于Region Proposal（候选区域）的深度学习目标检测算法 Region Proposal（候选区域），就是预先找出图中目标可能出现的位置，通过利用图像中的纹理、边缘、颜色等信息，保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率（IoU，Intersection-over-Union）。 2、什么是IoU？ Intersection over Un...
基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。--数据
06-06
基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。 Faster R-CNN 实现目标检测 tensorflow 基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。 Faster R-CNN ...
基于Keras实现的Faster-R-CNN安全帽检测模型源码
03-25
项目概述：本项目是一个基于Keras框架实现的Faster R-CNN安全帽检测模型，主要用于识别图像中的...本项目以Faster R-CNN算法为基础，针对安全帽这一特定目标进行高效的检测与识别，旨在为安全监控领域提供技术支持。
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD.doc
12-23
2. 候选区域/窗 + 深度学习分类，如 R-CNN、Fast R-CNN、Faster R-CNN 等 3. 基于深度学习的回归方法，如 YOLO、SSD、DenseBox 等 三、候选区域/窗 + 深度学习分类 候选区域/窗 + 深度学习分类是目标检测算法的一...
基于Pytorch搭建Faster R-CNN实现飞机目标检测-数据集
01-09
本项目将介绍如何使用Pytorch框架来实现Faster R-CNN，以完成对飞机目标的检测任务。 首先，我们需要理解Faster R-CNN的工作原理。Faster R-CNN由两部分组成：区域提议网络（Region Proposal Network, RPN）和基于...
[ 目标检测 ] 经典网络模型3——Faster R-CNN 详解与复现
A_John 的博客
05-09 4932
[ 目标检测 ] 经典网络模型3——Faster R-CNN 详解与复现； 1、Real-Time Object Detection with RPN； 2、Faster R-CNN 详解； 3、Faster R-CNN 复现； 目前先进的目标检测网络如 SPP-Net 和 Fast R-CNN 都采用区域建议算法假设目标位置 ； 这些网络都缩短了检测网络的运行时间，但 区域建议计算 依然是目标检测任务的 瓶颈 问题 ； 基于此，提出了一个 区域建议网络RPN，实现与检测网络 共享 输入图像的 卷积特征 ；
Faster R-CNN
a的博客
01-06 1139
一、背景 1.设计Region Proposal Networks，利用CNN卷积操作后的特征图生成region proposals，代替了Selective Search、EdgeBoxes等方法，速度上提升明显。 2.训练Region Proposal Networks与Fast R-CNN检测网络共享卷积层，大幅提高网络的检测速度。 二、算法原理 Faster R-CNN算法流程可分为3个步骤： 将图像输入网络得到相应的特征图 使用RPN结构生成候选框，将RPN生成的候选框投影到.
[ 目标检测 ] 经典网络模型2——Fast R-CNN 详解与复现
A_John 的博客
05-08 6820
[ 目标检测 ] 经典网络模型2——Fast R-CNN 详解与复现 1、Fast Region-based Convolutional Network； 2、Fast R-CNN详解； 3、Fast R-CNN复现； Fast R-CNN 是一种基于区域卷积网络的快速目标检测方法 ； Fast R-CNN 比 R-CNN 快 9倍，在测试时快 213倍，在 PASCAL VOC 2012 上实现了更高的映射 ； 基于此作者提出了一种单阶段训练算法 (single-stage training)......
睿智的目标检测27——pytorch搭建faster r-cnn目标检测平台
01-28
目标检测是计算机视觉领域的重要任务，而Faster R-CNN作为目标检测领域的经典算法之一，具有较高的检测精度和鲁棒性。在睿智的目标检测系列中，我们将使用PyTorch搭建一个基于Faster R-CNN的目标检测平台。 首先，我们将使用PyTorch构建一个深度学习模型的基础框架。PyTorch是一个开源的机器学习库，具有灵活的设计和易于使用的特点，因此非常适合用于搭建目标检测平台。我们将利用PyTorch提供的模块和工具，构建一个包含RPN模块、ROI pooling模块和分类回归模块的Faster R-CNN模型。 其次，我们将使用标记好的目标检测数据集，如COCO或PASCAL VOC数据集，对我们搭建的目标检测平台进行训练和验证。我们将利用PyTorch内置的数据加载和预处理工具，以及优化器和损失函数，对Faster R-CNN模型进行端到端的训练，以提高检测精度和泛化能力。 最后，我们将通过在真实场景下的目标检测任务中的应用，来验证我们搭建的Faster R-CNN目标检测平台的性能。我们将评估其在目标定位、多目标检测、不同尺寸目标检测等方面的表现，并对可能的改进和优化进行进一步的研究和实验。 通过这样一个基于PyTorch搭建的Faster R-CNN目标检测平台，我们将能够深入理解目标检测算法的原理和实现细节，提高对深度学习框架的应用能力，并为未来的研究和应用奠定基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值