目标检测——Faster R-CNN

最新推荐文章于 2024-06-03 08:46:27 发布
最新推荐文章于 2024-06-03 08:46:27 发布
阅读量699 收藏 1
点赞数
文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/welltung_666/article/details/104678540
版权

在前一篇博客目标检测——R-CNN、Fast R-CNN中已经对R-CNN和Fast R-CNN进行了介绍。
虽然Fast R-CNN相对于R-CNN有所改进，但是它仍依赖于外部区域的建议方法，如选择性搜索等。然而，这些算法运行在CPU上，速度很慢。在测试中，Fast R-CNN需要2.3秒进行预测，其中2秒用于生成2000 ROI。

文章目录

Faster R-CNN

Faster R-CNN采用了与Fast R-CNN相似的设计，只是它将区域建议（region proposal）方法替换为内部深度网络，而ROI则来源于feature maps。新区域建议网络(RPN)更有效，生成ROI的速度为每幅图像10毫秒。

Faster R-CNN系统流程：
在这里插入图片描述

Faster R-CNN 架构：
在这里插入图片描述
Faster R-CNN 4步训练：

  1. 使用ImageNet预训练模型初始化RPN
  2. 用RPN生成的proposals训练FasterR-CNN
  3. 使用在2中训练的模型初始化RPN并再次训练
  4. 使用与第3步相同的共享卷积层微调Fast R-CNN的FC层

锚点（Anchors）

在介绍候选区域网络（RPN）之前先介绍一下锚点。锚点可以简单的理解为在特征图上每个位置都有一个中心点，都可以对应到原图的某个点，以这个点为中心按照不同大小长宽比例生成anchors boxes。

例如：原始输入图像为800×600。VGG将其下采样16次，并且特征图中的每个位置都有9个锚点。 因此，锚点的总数为：ceil（800/16）×ceil（600/16）×9 = 50×38×9 = 17100（ceil是向上取整的意思）。
在这里插入图片描述

需要理解的是，虽然锚点是基于卷积特征图定义的，但是最终的锚点是参考原始图像的。
原始图片的锚点中心

为了选择锚点集，通常定义一组尺寸（例如64px，128px，256px）和一组框的宽度和高度之间的比率（例如0.5、1、1.5），并使用所有可能的尺寸组合和比率。
在这里插入图片描述

候选区域网络（RPN）

候选区域网络（RPN）将第一个卷积网络的输出特征图作为输入。它在特征图上滑动一个3×3的卷积核，以使用卷积网络（如下所示的ZF网络）构建与类别无关的候选区域。其他深度网络（如VGG或ResNet）可用于更全面的特征提取，但这需要以速度为代价。ZF网络最后会输出256个值，它们将馈送到两个独立的全连接层，以预测边界框和两个objectness分数，这两个objectness分数度量了边界框是否包含目标。我们其实可以使用回归器计算单个objectness分数，但为简洁起见，Faster R-CNN使用只有两个类别的分类器：即带有目标的类别和不带有目标的类别。
在这里插入图片描述

对于特征图中的每个位置，RPN进行k个猜测。 因此，RPN在每个位置输出4×k坐标和2×k分数。 下图显示了带有3×3卷积核的8×8特征图，它总共输出8×8×3 ROI（对于k = 3）。 右侧图演示了单个位置提出的3个建议。
在这里插入图片描述

假设最好涵盖不同的形状和大小。因此，Faster R-CNN不会创建随机边界框。相反，它会预测一些与左上角名为锚点的参考框相关的偏移量（如x, y）。我们限制这些偏移量的值，因此我们的猜想仍然类似于锚点。

在这里插入图片描述

要对每个位置进行k个预测，我们需要以每个位置为中心的k个锚点。每个预测与特定锚点相关联，但不同位置共享相同形状的锚点。
在这里插入图片描述
这些锚点是精心挑选的，因此它们是多样的，且覆盖具有不同比例和宽高比的现实目标。这使得我们可以用更好的猜想来指导初始训练，并允许每个预测专门用于特定的形状。该策略使早期训练更加稳定和简便。
Faster R-CNN部署9个锚点框：3个不同宽高比的3个不同大小的锚点框。每一个位置使用9个锚点，每个位置会生成2×9个objectness分数和4×9个坐标。
在这里插入图片描述

RPN的训练

RNP在特征图（FPN生成的P2~P6）上生成20000多个anchor（每个特征点有9个），接下来RPN做的事情就是利用（AnchorTargetCreator）将20000多个候选的anchor选出256个anchor进行分类和回归位置。选择过程如下：

  • 对于每一个ground truth bounding box (gt_bbox)，选择和它重叠度（IoU）最高的一个anchor作为正样本
  • 对于剩下的anchor，从中选择和任意一个gt_bbox重叠度超过0.7的anchor，作为正样本，正样本的数目不超过128个。
  • 随机选择和gt_bbox重叠度小于0.3的anchor作为负样本。负样本和正样本的总数为256。
  • 对于每个anchor, gt_label要么为1（前景），要么为0（背景），而gt_loc则是由4个位置参数(tx,ty,tw,th)组成，这样比直接回归座标更好。

RPN生成RoIs

RPN在自身训练的同时，还会提供RoIs（region of interests）给Fast RCNN（RoIHead）作为训练样本。RPN生成RoIs的过程(ProposalCreator)如下：

  • 通过得到的回归变换函数，修正anchor的位置，得到anchor 对应的 RoIs（原图上的）
  • 根据得到的分类概率，选取是物体的概率较大的12000个anchor对应的RoIs
  • 利用非极大值（(Non-maximum suppression, NMS）抑制，选出概率最大的2000个RoIs(后面一节分析)

RoIHead/Fast R-CNN训练

RPN经过NMS后会产生大约2000个RoIs，这2000个RoIs不是都拿去训练，而是利用ProposalTargetCreator 选择128个RoIs用以训练。选择的规则如下：

  • RoIs和gt_bboxes 的IoU大于0.5的，选择一些（比如32个）

  • 选择 RoIs和gt_bboxes的IoU小于等于0（或者0.1）的选择一些（比如 128-32=96个）作为负样本。

  • 为了便于训练，对选择出的128个RoIs，还对他们的gt_roi_loc 进行标准化处理（减去均值除以标准差）。对于分类问题，直接利用交叉熵损失。而对于位置的回归损失，一样采用Smooth_L1Loss，只不过只对正样本计算损失。而且是只对正样本中的这个类别4个参数计算损失。举例来说: 一个RoI在经过FC 84后会输出一个84维的loc 向量. 如果这个RoI是负样本,则这84维向量不参与计算 Smooth_L1Loss 。如果这个RoI是正样本,属于label K,那么它的第 K×4, K×4+1 ，K×4+2， K×4+3 这4个数参与计算损失，其余的不参与计算损失。

WellTung_666
关注
域适应目标检测：DA Faster R-CNN论文笔记——Domain Adaptive Faster R-CNN for Object Detection in the Wild
qq_50001789的博客
06-24 1770
论文题目：《Domain Adaptive Faster R-CNN for Object Detection in the Wild》 本文提出了一种有效解决跨域目标检测问题的域适应Faster R-CNN算法，可以实现在不使用任何附加标记数据的情况下获得新领域鲁棒性的检测器。作者在对跨域目标检测理论分析的基础上，提出了一个图像级自适应组件和实例级自适应组件来缓解由域偏移引起的模型性能下降的问题
目标检测5——Faster R-CNN（RPN网络代替Selective Search来获取候选框）
qq_45792437的博客
01-13 1783
Faster R-CNN 在 Fast R-CNN 的基础上利用 RPN 网络代替 Selective Search 来获取候选框得到更快的检测速度
目标检测——Faster RCNN
fortune_cookie的博客
10-09 3602
Faster RCNN是由 R-CNN、Fast R-CNN 改进而来，是非常经典的目标检测的两阶段网络。Faster R-CNN 第一步要使用在图片分类任务 (例如，ImageNet) 上预训练好的卷积神经网络，使用该网络得到的中间层特征的输出。Conv layers 包含了 conv，pooling，relu 三种层。一个 MxN 大小的矩阵经过 Conv layers 固定变为 (M/16)x(N/16) ，这样 Conv layers 生成的 feature map 中都可以和原图对应起来。
（目标检测）Faster R-CNN 论文解读+复现
Bryce1010's Blog
03-25 5019
Faster R-CNN xyang 声明：本篇文章借用了他人理解，如有侵权，请联系，另如需转载，请注明出处 关于最新最全的目标检测论文，可以查看awesome-object-detection 《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》 NIPS 2015 arxiv: ...
Faster R-CNN：端到端的目标检测网络
最新发布
新缸中之脑
06-03 1218
传统的对象检测技术遵循下图给出的 3 个主要步骤。第一步涉及生成多个区域提案。这些区域提案是可能包含对象的候选区域。这些区域的数量通常为几千个，例如 2,000 个或更多。一些生成区域提案的算法的示例是选择性搜索和 EdgeBox。从每个区域提案中，使用各种图像描述符（例如方向梯度直方图 (HOG)）提取固定长度的特征向量。该特征向量对于对象检测器的成功至关重要。即使对象由于某些变换（例如缩放或平移）而发生变化，该向量也应该充分描述对象。然后使用特征向量将每个区域提案分配给背景类或对象类之一。
CNN目标检测（一）：Faster RCNN详解
热门推荐
holy的博客
07-11 3万+
转自：http://blog.csdn.net/zy1034092330/article/details/62044941 经过RCNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCN已经将特征抽取(feature extraction)，proposal提取，bounding box reg
转：faster rcnn cpu 模式
qq_18476449的博客
07-19 468
链接：https://www.cnblogs.com/xiaoming123abc/p/5823682.html
目标检测——Faster R-CNN 之 Fast R-CNN
qq_45720073的博客
08-07 924
目标检测——Faster R-CNN 之 Fast R-CNN
目标检测篇——Faster R-CNN
weixin_43872060的博客
06-04 7274
目录1. Faster R-CNN理论1.1 R-CNN(Region with CNN feature)1.1.1 R-CNN概述1.1.2 R-CNN流程1.1.3 R-CNN框架1.1.4 R-CNN存在的问题1.2 Fast R-CNN1.2.1 Fast R-CNN概述1.2.2 Fast R-CNN流程1.2.3 Fast R-CNN损失函数1.2.4 Fast RCNN框架1.2.5 Fast RCNN存在的问题1.3 Faster R-CNN1.3.1 Faster R-CNN概述1.3.2
Faster R-CNN backbone - ResNet101.zip
07-03
标题"Faster R-CNN backbone - ResNet101.zip"涉及的是计算机视觉领域的一个关键算法——Faster R-CNN（快速区域卷积神经网络），它使用ResNet101作为其基础特征提取网络。Faster R-CNN是目标检测领域的里程碑式工作...
Faster R-CNN增加锚点
03-31
此代码是caffe框架下，Faster R-CNN用python实现的代码中，基于ZF网络结构下进行的锚点增加。
Faster R-CNN增加锚点的方法
AngeliaZ
03-31 877
前不久看了一片关于增加Faster R-CNN锚点用于检测更小或更大目标具有一定优势的文章，便想尝试着增加锚点看看是否在自己的数据集上有作用，在网上一顿搜索也没找到一个合适的代码，于是决定自己解决，通过一番研究，终于将Faster R-CNN中的锚点从原来的9个增加到12个，并且根据此方法可以随心所欲更改锚点个数和锚的尺寸大小。 下面是在Faster R-CNN中增加锚点需要更改的地方，用一个文...
【个人整理】faster-RCNN的关键点(区域推荐网络RPN)详解
MIss-Y的博客
03-28 1万+
前言：faster-RCNN是区域卷积神经网络的第三篇文章，是为了解决select search方法找寻region proposal速度太慢的问题而提出来的，整个faster-RCNN的大致框架依然是沿袭了fast-RCNN的基本能结构，只不过在region proposal的产生上面应用了专门的技术手段——区域推荐网络（region proposal network，即RPN），这是整...
【论文笔记】faster rcnn
DLUT_yan的博客
06-14 937
转载，仅供自己学习，侵删。 一、 算法详解： Faster-rcnn主要包括4个关键模块，特征提取网络、生成ROI、ROI分类、ROI回归。 特征提取网络：它用来从大量的图片中提取出一些不同目标的重要特征，通常由conv+relu+pool层构成，常用一些预训练好的网络（VGG、Inception、Resnet等），获得的结果叫做特征图feature map； 生成ROI(RPN)：在获得的特...
Faster R-CNN简单解读（一）
tcmyxc的博客
05-26 709
Faster R-CNN 引言 根据以往R-CNN系列的分析，现在影响网络性能的是候选区域提取的部分。比如SS算法，在CPU上处理一张图片大约要2秒。 文中提出了一种算法的改进——使用卷积神经网络来生成候选区域，命名为Region Proposal Networks (RPN)。RPN共享现有的目标检测网络的卷积层。这种方法既优雅又高效，几乎是 cost-free 的（每张图片在测试时大约10ms）。 使用VGG16作为主干网络，一秒大约处理5帧（张）图片 文中观察到，基于区域的目标检测网络产生的特征图
MXNet的Faster R-CNN(基于区域提议网络的实时目标检测)《2》
深度学习领域优质创作者，CSDN博客专家
12-29 664
对论文的熟悉
Faster RCNN原理篇（三）——区域候选网络RPN（Region Proposal Network）的学习、理解
Yale-曼陀罗
12-17 1万+
区域候选网络RPN（Region Proposal Network）的学习、理解Anchors详解`generate_anchors.py`文件中generate_anchors函数源码解读Anchor的产生过程： RPN（Region Proposal Network）： 它是首先在Faster RCNN中提出的，其 核心功能： 1. 得到用来预测的feature map。 具体而言：图像在输入网络后，依次经过一系列卷积+ReLU得到了51×39×25651×39×25651×39×256维的featu
深度学习_目标检测_Faster R-CNN论文详解
欢迎大家关注我
03-10 579
Faster R-CNN论文地址 Faster R-CNN的创新点 设计Region Proposal Networks【RPN】，利用卷积操作后的特征图生成region proposals，代替了Selective Search、EdgeBoxes等方法，速度上提升明显。 训练Region Proposal Networks与检测网络【Fast R-CNN】共享卷积层，大幅提高网络的检测速度。...
R-CNN 详解
Kula的博客
03-12 701
（一）算法流程（二）流程详解
睿智的目标检测27——pytorch搭建faster r-cnn目标检测平台
01-28
目标检测是计算机视觉领域的重要任务，而Faster R-CNN作为目标检测领域的经典算法之一，具有较高的检测精度和鲁棒性。在睿智的目标检测系列中，我们将使用PyTorch搭建一个基于Faster R-CNN的目标检测平台。 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值