Faster RCNN论文理解

已于 2023-12-29 14:48:50 修改
阅读量874 收藏 22
点赞数 27
分类专栏： 目标检测 文章标签： 人工智能 计算机视觉 目标检测
于 2023-12-26 15:46:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51619560/article/details/135223785
版权

Faster RCNN论文理解

OKDdHr.png

1.背景

基于候选区域的CNNs(RCNN、SPPnet、FastRCNN…)在目标检测领域取得了很好的效果，尤其是共享卷积特征及大地降低了计算代价，提高了训练和测试的速度。如果忽略产生候选区域(region proposals)的耗时，Fast RCNN输入一张图片和其候选区域后几乎可以实现实时检测。因此，现在检测系统的计算瓶颈主要在于产生候选区域的部分。Selective Search (SS)产生一张图片的2000个候选区域要耗时2s，EdgeBoxes则要耗时0.2s（两种方法都只有CPU实现）——太慢了！因此，本文提出利用deep ConvNet来产生候选区域。

2.主要贡献

  1. 用RPN代替selective、EdgeBoxes产生候选区域：RPN(Region Proposal Networks)，能够同时预测边界框和对象性得分(objectness scores)，并和Fast RCNN目标检测网络共享了卷积特征，实现了网络加速。
  2. 提出了一种“轮流”的训练模式来合并RPN和Fast RCNN

3.RPN(Region Proposal Networks)

3.1网络结构

下图展示了RPN的总体结构示意图

OKDfJ1.png

共享卷积层(conv layers)本文实验了ZF模型和VGG-16模型

输入：一张任意大小的图片

输出：一系列矩形候选区域及其对应的对象性得分(objectness score——object/not-object)

下图展示了"RPN特有部分"的结构示意图

OKDlfI.png

3.2平移不变的参考框(Translation-Invariant Anchors)

用三种不同的尺度(scale)和长宽比(aspect ratio)，在每个滑动窗口位置产生9种不同的参考框。

参考框和根据参考框计算候选区域的函数，二者都具有平移不变性

3.3RPN损失函数

注意！！！这里是RPN的分类和回归网络两个分支的损失函数，不是Fast RCNN的损失函数

  1. 怎么判断预测的参考框是正样本还是负样本？

    • 正样本：将参考框和所有的ground-truth计算IoU，与每个ground-truth有着最大IoU的参考框是正样本；将参考框和所有的ground-truth计算IoU，与任意ground-truth的IoU超过0.7的也是正样本
    • 负样本：将参考框和所有的ground-truth计算IoU，与所有的ground-truth的IoU<0.3的是负样本

  2. 最小化Fast RCNN中的多任务损失函数(multi-task loss)

    OKD0Mq.png

  3. cls：识别参考框(anchor box)属于object or not-object；reg：将参考框(anchor box)回归到真实标注框(ground-truth box)

  4. 回归的实现方式有所改变：

    • RCNN、Fast RCNN：将任意大小的候选区域池化后，执行边界框回归，回归权重被各尺寸的候选区域共享
    • RPN：只在相同大小的特征图上进行回归，学习到k个不同的边界框回归器，它们之间的权重互不共享

3.4训练RPN

以图片为中心采样(“image centric” sampling strategy)：每个mini-batch来自于一张图片包含的正负样本。

实际做法：在一张图片上随机采样256个参考框，其中正负参考框占比接近1:1，用这些样本作为mini-batch，计算这个mini-batch的损失函数

4.Faster RCNN整体训练

Faster RCNN = RPN + Fast RCNN

4.1如何共享

如何在RPN和Fast RCNN间共享卷积层？

4.1.1思路1：轮流训练

step 1，训练RPN：用ImageNet上的预训练模型初始化RPN，并在端到端的区域建议任务上微调。

step 2，训练Fast RCNN：用step-1训练的RPN产生的候选区域 + ImageNet上的预训练模型从头训练一个Fast RCNN检测模型。到此为止，这两个网络还没有共享卷积层的特征。

step 3，用step-2得到的Fast RCNN检测网络的特征提取部分(Deep ConvNet)初始化RPN的训练，微调RPN特有的的层。此时，两个网络实现了共享卷积层。

step 4，固定共享卷积层，微调Fast RCNN的全连接层（特有的那些层）。到此为止，两个网络就共享了卷积层并形成了一个统一的网络。

下图展示了这一轮流训练过程
OKDsXM.png

4.1.2思路2：近似联合训练法

做法：训练初始就将RPN和Fast RCNN合并成一个网络，然后用同时进行反向传播来优化。

问题：无法求解坐标偏导数，因为Fast RCNN的损失函数反向传播也会传导到RPN回归出的坐标部分，但这种方法忽略了这部分

4.1.3思路3：非近似联合训练法

利用ROI Warping实现了Fast RCNN尾部网络反向传播到坐标部分的问题

4.2实现细节

  1. RPN和Fast RCNN的训练和测试都使用了单尺度图片：缩放图片的短边为600px

  2. 参考框选取了3种尺度：1282，2562，512^2，3种长宽比：1:1，1:2，2:1=>不需要多尺寸特征、多尺寸滑动窗口来预测大区域

  3. 处理跨图片边界的参考框：

    • 训练时忽略所有跨边界的参考框，因为如果不忽略跨边界的参考框，它们会在损失函数中引入很大很难纠正的错误模式，导致训练很难收敛。
    • 测试时遇到跨图片边界的候选框，会保留其并裁剪其到图片边界

    OKDYxG.png

  4. 基于cls scores针对每一类别的候选区域应用非极大值抑制过滤，以减少冗余。当NMS的IoU的阈值设定为0.7时，每张图片最终会留下大约2k个候选区域，用这2k个候选区域训练Fast RCNN（测试时不一定需要使用2k个，实际使用了300个）

4.3实验

数据集：PASCAL VOC 2007，5k trainval images，5k test images，超过20个对象类

评估指标：mAP

4.4消融实验

  1. 困惑：在RPN和Fast RCNN之间共享卷积特征有什么作用？

    实验：在4-step的训练步骤的step-2后停下来，用2个分离的网络（RPN和Fast RCNN）完成获取候选区域和实现目标检测

实验结果：精度会下降

解释：说明step-2训练好的Fast RCNN网络的特征提取能力能更好地辅助RPN模块产生候选区域，提高了候选区域的质量

  2. 困惑：只在测试时使用RPN产生的候选区域，对Fast RCNN检测网络有什么影响?（注意这里是Fast RCNN，Fast RCNN的训练还是采用selective-search产生的候选区域来实现的，而不是Faster RCNN，即这里RPN和Fast RCNN并没有共享卷积特征）

    实验1：

- 训练时：selective search产生2k个候选区域+ZF；
- 测试时：固定训练产生的检测器，采用RPN产生的候选区域。这时RPN并没有和此时的ZF共享特征。

实验结果：测试时用300个RPN产生的候选区域来代替selective-search，精度会下降

解释：精度损失是因为训练和测试时所用的候选区域(proposals)不一致，该结果为后续实验提供baseline

    实验2：测试时用RPN产生的前100个候选区域代替前300个

实验结果：精度下降但下降不多

解释：说明排名靠前的RPN proposals很准确

    实验3：测试时用前6k个RPN proposals(without NMS)产生的候选区域

实验结果：精度并没有比用300个RPN proposals(with NMS)更好，说明NMS并不损害检测时的mAP，

  3. 测试时RPN的分类和回归输出分别有什么作用？

    实验1：测试时移除RPN的cls layer，然后从没有打分的region proposals随机采样N个proposals进行测试（关闭分类层会导致后续——不会进行NMS，因为NMS是针对每一类(object/not-object)的cls score来进行的，而此时没有分类了）

实验结果：N=1000时，精度几乎无影响；N=100是，精度大幅下降

解释：cls scores 考虑到了排名最高的proposals的准确性

    实验2：测试时移除RPN的reg layer（移除reg layer的后续影响是——proposals变成了anchor boxes）

实验结果：精度下降

解释：高质量的候选区域(proposals)主要是因为位置回归，只有参考框不足以准确定位

  4. 更强大的网络(VGG-16)对RPN产生的候选区域质量有什么影响

    实验：在上述实验（训练：selective-search + ZF，测试：利用ZF训练的RPN产生候选区域），改用VGG-16训练的RPN产生候选区域进行测试（注意这里RPN和目标检测网络都没有共享卷积特征）

结果：精度提高

解释：RPN+VGG-16产生的候选区域质量优于RPN+ZF（用ZF训练出来的RPN）

4.5Recall-to-IoU

这个评估指标主要用于诊断（注意是诊断，不是评估）产生候选区域的方法的优劣

下图展示了不同候选区域算法（SS、EB、RPN+ZF、RPN+VGG）在不同IoU时的召回率

OKYdLK.png

解释：

  1. 当proposals的数量下降的时候，RPN在各个IoU比率下的召回率都只是略微降低
  2. 当proposals的数量下降的时候，SS和EB方法在各个IoU比率下的召回率都显著降低
  3. 这就解释了为什么RPN只需要300个候选区域就能取得比较好的精度

4.6一阶段检测vs两阶段检测

和OverFeat比较

参考资料：

https://www.bilibili.com/video/BV1GB4y1r7rM/?spm_id_from=333.880.my_history.page.click&vd_source=66a72b15abe9693bd8b4f738f5a67ee7

深度菜鸟
关注
专栏目录
fasterrcnn论文_【论文解读】精读Faster RCNN
weixin_39601641的博客
11-21 496
Faster R-CNN论文链接：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks推荐代码：https://github.com/facebookresearch/Detectron （首推！Faster RCNN原班人马复现代码，模型有很多，Faster RCNN、端到端的Faster R...
RCNN，FastRCNN，FasterRCNN论文
11-01
**RCNN，FastRCNN，FasterRCNN论文解析** 目标检测是计算机视觉领域中的一个核心任务，旨在在图像中定位并识别出不同类别的物体。RCNN（Region-based Convolutional Neural Network）系列算法是该领域的重要里程碑...
faster rcnn 论文理解
复兴之矢
02-18 6482
目录(?)[-] 思想区域生成网络结构 特征提取候选区域anchorRegion Proposal NetworksTranslation-Invariant Anchors窗口分类和位置精修 区域生成网络训练 样本代价函数超参数 共享特征 轮流训练近似联合训练联合训练 实验 reference link： http://blog.cs
【目标检测】Faster RCNN论文理解
qq_36926037的博客
05-12 1979
摘要   当前最先进的目标检测网络：   依赖于区域建议算法来假设目标位置，例选择性搜索。SPPnet和Fast R-CNN等技术的进步缩短了检测网络的运行时间，但暴露了候选区域计算的瓶颈。   本文Faster RCNN：   Faster RCNN=RPN+Fast RCNN。引入区域建议网络(RPN)，它与检测网络（Fast RCNN）共享全图像卷积特性，从而实现了几乎‘免费’的区域建议。RPN是一个全卷积的网络，可以同时预测每个对象的位置边界和得分。对RPN进行端到端的训练，生成高质量的候选区域，F
【RCNN系列】Faster RCNN论文总结及源码
capsule的博客
12-10 1300
Faster RCNN
深度网络中的目标检测算法RCNN系列-Faster RCNN论文理解
ANZE的博客
06-30 475
一、概述 RPN（region proposal net）,该网络与检测网络共享整个图像的卷积特征。RPN是一个全卷积网络，可以同时在每个位置预测目标边界和目标分数。RPN通过端到端的训练，可以生成高质量的region proposals. Faster RCNN，由两个模块组成。第一个模块是region proposal net，深度全卷积网络。第二个模块是使用proposal的Fast RCN...
Faster RCNN详解
热门推荐
小白的深度学习的博客
05-13 19万+
paper：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 前言 faster rcnn是何凯明等大神在2015年提出目标检测算法，该算法在2015年的ILSVRV和COCO竞赛中获得多项第一。该算法在fast rcnn基础上提出了RPN候选框生成算法，使得目标检测速度大大提高。 R CN...
Faster RCNN论文的概括理解
CSDNbaiduyun的博客
07-27 392
 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 论文地址：http://arxiv.org/abs/1506.01497 虽然fast RCNN对每张图片只提取一次特征，但是SS选择候选框的过程依然很耗时，faster我觉得最难理解的就是其提出来的RPN，很多博客上都说fa...
目标检测经典论文详解之（一）Faster RCNN
公众号/知乎: AI算法札记，欢迎关注交流
01-13 1983
论文：  R-CNN (https://arxiv.org/abs/1311.2524) Fast R-CNN (https://arxiv.org/abs/1504.08083) Faster R-CNN (https://arxiv.org/abs/1506.01497) 代码：（mxnet）https://github.com/ijkguo/mx-rcnn 代码：（gluoncv）h...
【Faster RCNN】损失函数理解
Mr_health的博客
10-29 3万+
目录 1. 使用Smoooh L1 Loss的原因 2. Faster RCNN的损失函数 2.1分类损失 2.2 回归损失 一些感悟 关于文章中具体一些代码及参数如何得来的请看博客： tensorflow+faster rcnn代码解析（二）：anchor_target_layer、proposal_target_layer、proposal_layer 最近又重新学习了一遍F...
Faster RCNN.pdf
09-14
Faster RCNN是一种用于物体检测的深度学习模型，它属于卷积神经网络（CNN）的一种，并且是two stage（两阶段）模型的代表之一。它在目标检测领域中具有重要的地位，是研究者和工程师在处理图像中目标定位和识别任务...
Rcnn，FastRcnn, FasterRcnn
11-25
"Rcnn，FastRcnn, FasterRcnn"这三篇论文代表了这一领域的重大进步，它们分别由Ross Girshick、Shaoqing Ren和Kaiming He等人提出，对卷积神经网络（CNN）在物体检测上的应用进行了革命性的改进。 首先，R-CNN...
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1384
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
pytorch版本和cuda版本不匹配问题
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
10-06 557
发现cuda11.8支持pytorch2.0.0。
《深度学习》LSTM 长短期记忆网络 结构及原理解析
wx_AHao1004Y的博客
10-09 1213
LSTM网络，全称长短期记忆网络（Long Short-Term Memory network），是一种特殊的循环神经网络（RNN）架构，大部分与RNN模型相同，但它们用了不同的函数来计算隐状态h，旨在解决传统RNN在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM网络通过引入自循环的巧妙设计，使得信息能够在网络中长期保留或遗忘，从而能够捕获长距离的时间依赖关系。
【YOLO学习】YOLOv4详解
m0_62881487的博客
10-09 977
3. DIOU（Distance IOU）损失：DIOU 考虑到 GIOU 的缺点，也是增加了 C 检测框，将真实框和预测框都包含了进来，但是 DIOU 计算的不是框之间的交并，而是计算的每个检测框之间的欧氏距离，这样就可以解决 GIOU 包含出现的问题。concat：将两个特征图在通道数方向叠加在一起，原特征图信息完全保留下来，再对原特征图增加一些我们认为是较好的特征图，丰富了特征图的多样性，是在空间上对原特征图的增强，这样在下一次卷积的过程中我们能得到更好的特征图。
湘潭大学人工智能专业：2024年全球AI技术革新先锋
最新发布
m0_64357419的博客
10-12 384
湘潭大学，作为中国乃至全球顶尖学府之一，正在重新定义全球人工智能（AI）技术发展的标准。通过在超大规模大模型、量子AI、类脑智能、数字生命以及跨维度计算领域的前瞻性布局，湘潭大学不仅主导了中国的AI技术创新，还在国际学术界和产业界掀起了一场全球范围的技术革命。湘潭大学自主研发的全球首个具备自我进化和“情感计算”能力的大模型、基于量子AI的全新智能决策框架、数字生命的虚拟物种进化模拟系统，都在改变着人类对智能的认知。本文将从这些超前领域出发，深入分析湘潭大学AI专业如何引领全球科技变革。
对层级聚类树进行模块分割，定位基因在哪个模块中
悟道西方
10-12 747
3. Row clustering cutree results as row annotations: 把行聚类的结果作为行注释标记在图上，这是为了后面更好的对应每个类。1. `Label every n row items (n>1)`: 每 n 个基因标记一个，标记第 1 个，n+1个，2n+1个，。结果如下，每个类的边界基因就定了，再去`row-cluster`的表格中去寻找基因就可以了。如果不想聚类，或想标记更多基因，也可以使用下面这个功能，每隔多少位标记 1 个基因。
faster rcnn代码复现
09-25
Faster RCNN是一种用于目标检测的常用算法。它的代码复现可以使用多种深度学习框架，例如PyTorch、TensorFlow和Caffe等。 您可以在网上找到许多Faster RCNN的代码实现，并可以根据您所选择的深度学习框架进行选择。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值