Faster R CNN

最新推荐文章于 2022-05-12 15:25:14 发布
最新推荐文章于 2022-05-12 15:25:14 发布
阅读量221 收藏
点赞数
分类专栏： 论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43152949/article/details/102708469
版权

Faster R CNN

3 FASTER R-CNN

我们的Faster R CNN 由两个模块组成，第一个模块是 proposes regions 的全卷积网络，第二个是使用 proposed regions 的 Faster R CNN 检测器。
在这里插入图片描述
在这里插入图片描述

3.1 Region Proposal Networks

RPN以一个图像作为输入，并输出一组矩形object proposal 每个提案都有 客观的score，我们用一个完全卷积的我网络对这个过程进行建模。由于我们的最终目标是与faster r cnn 目标检测网络共享计算，我们假设这两个网络共享一组公共的卷积层。

为了产生proposal region 我们在最后一个共享卷积层输出的卷积特征图上滑动了一个小网络。该小网络采用输入卷积特征的 nxn 空间窗口作为输入。每个滑动窗口映射到一个低维特征。这个特征被输入到两个完全连接的同级层：一个boxes回归层， 一个box分类层。本文使用n=3，输入图像上的有效感受野很大。由于迷你网络以滑动的方式工作，全连接层是在所有空间位置共享的。该体系结构自然由nxn卷积层和两个1x1卷积层（分别用于reg和cls）实现。

3.1.1 Anchors

在每个滑动窗口位置，我们同时预测多个region proposal，其中每个位置最大可能方案数为k，因此reg层有4k输出编码k个框的坐标，cls输出2k分数，估计每个proposal region的的对象概率和非对象概率。

anchor位于滑动窗口的中心，默认情况下，我们使用3个尺度和3个纵横比，一共9个anchor，对于W×H的feature map 来说，一共有WHk个anchor。

Translation-Invariant Anchors

我们的方法保证了平移不变性。我们的方法有（4 + 2）× 9 维卷积输出层，因此我们的proposal 层的参数很少。

Multi-Scale Anchors as Regression References

我们的anchor解决了多尺度的挑战。对于多尺度，第一种，图像/特征金字塔的方法非常费时，如DPM，第二种，在feature map上使用多尺度的滑动窗口，使用不同的filter尺寸来训练不同长径比的模型。基于anchor的方法，依赖单一尺度的图像和feature map，并且使用单一大小的filter。可以很好的解决多尺度和大小问题。

3.1.2 Loss Function

我们给两种anchors指定正标签（1）与ground truth的IoU最高的anchor（2）IoU大于0.7的anchor，一个单一的ground truth 可以为多个anchor指定正标签。利用这些定义，我们对图像的loss函数定义为：
在这里插入图片描述
其中，pi时anchor作为一个对象的预测概率，如果anchor is positive，即IoU满足以上两个条件之一，那么ground truth 的标签值pi为1。ti是表示预测bounding boxes的4个坐标的参数，ti是与positive anchor 相关联的ground truth的向量。分类损失是两个类上的log loss，我们使用
在这里插入图片描述
R是robust loss function（smooth L1）。前面乘了p*i表示回归loss只对positive anchors激活，否则为0。

对于bounding box regression，我们采用以下4个坐标的参数化：
在这里插入图片描述
其中带* *号的是用于groud truth的坐标，不带 *号的是是anchor和predicted boxes，然而，我们实现bounding box 的方法不同于以往RoI的方法。在我们的公式中，用于回归的feature在feature map 上有相同的空间大小（3x3）。
为了解释不同的尺寸，学习了k个bounding box regressors，每个regressor负责一个尺度和纵横比，他们互相不共享权值。

3.1.3 Training RPNs

每一个mini-batch都是由一张图像产生的，它包含很多positive的anchor和negative的anchor，可以对所有anchor的loss函数进行优化，但这将偏向负样本，因为它们的量远大于正样本，所以，我们在图像中随机抽样256个anchor，其中采样的正样本和负样本比例为1：1，如果正样本不足128，则用负样本填充。

3.2 Sharing Features for RPN and Fast R-CNN

4-Step Alternating Training.

我们采用了一种使用的四步训练算法，通过交替优化学习共享特征，第一步，我们训练RPN，使用ImageNet预训练。第二步， 我们使用RPN产生的proposal region，通过快速R-CNN来训练一个单独的检测器网络，该网络进行预训练，此时，这两个网络不共享卷积层。第三步，我们使用检测器网络来初始化RPN训练，但是我们fix共享卷积层，只对unique layer of RPN进行微调，此时，这两个网络共享卷积层。第四步，保持共享卷积层的固定，我们微调unique layers of fast R-CNN。

还有一个更为简单的方法，就是end-to-end的训练方法，将RPN和Fast R-CNN结合起来一起训练。

补充RoI pooling

ROI pooling具体操作如下：
（1）根据输入image，将ROI映射到feature map对应位置；
（2）将映射后的区域划分为相同大小的sections（sections数量与输出的维度相同）；
（3）对每个sections进行max pooling操作；
这样我们就可以从不同大小的方框得到固定大小的相应 的feature maps。值得一提的是，输出的feature maps的大小不取决于ROI和卷积feature maps大小。ROI pooling 最大的好处就在于极大地提高了处理速度。

参考：https://blog.csdn.net/AUTO1993/article/details/78514071

有一些实现细节，比如RPN网络得到的大约2万个anchor不是都直接给Fast-RCNN，因为有很多重叠的框。文章通过非极大值抑制的方法，设定IoU为0.7的阈值，即仅保留覆盖率不超过0.7的局部最大分数的box（粗筛）。最后留下大约2000个anchor，然后再取前N个box（比如300个）给Fast-RCNN。Fast-RCNN将输出300个判定类别及其box，对类别分数采用阈值为0.3的非极大值抑制（精筛），并仅取分数大于某个分数的目标结果（比如，只取分数60分以上的结果）

关于RPN：
https://blog.csdn.net/qq_36269513/article/details/80421990

关于nms：
https://www.cnblogs.com/makefile/p/nms.html

qq_43152949
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
目标检测 RCNN，fast-rcnn，faster-rcnn，fpn，总结（详细）
man_tou_22
09-19 3480
前言：     看很很多关于目标检测的论文，都没有做一个总结，近期要做一个全面的总结，也算是回顾一下。希望可以对自己有帮助。 一、基于R-CNN的目标检测     1.相关背景         本论文来源《Rich feature hierarchies for Accurate Object Detection and Segmentation》是2014年在CVPR上的经典论文。是物体...
目标检测系列：Faster RCNN、FPN
qq_39382877的博客
07-31 2095
Faster RCNN FPN Faster RCNN 动机 Fast RCNN虽然对于检测的速度已经接近于达到实时，但是候选区域的提取方法依然是依赖于传统的算法例如选择性搜索，而选择性搜索在CPU上要实现一张图像的候选区域提取需要达到2秒，显然是非常耗时的。 而GPU可以达到加速网络计算的速度，因此想到利用GPU加速的网络来代替传统的算法从而实现候选区域的提取过程。于是提出RPN（区域...
笔记：Faster R-CNN系列以及FPN
pangpangben的博客
05-12 2353
R-CNN: 注意首先去掉AlexNet的全连接层，则剩下的AlexNet的最后一层经过展平处理为4096维，则2000个候选区域经过AlexNet后为20004096维矩阵（每一行为一个候选区域的特征向量） 20004096的每一行为一个候选区域的特征向量，而409620的每一列表示一种分类器（比如，第一列为猫的分类器，第二列为狗的分类器），得到的200020矩阵（例如，第一行的第一个元素表示第一个候选区域为猫的概率，第一行第二个元素表示第一个候选区域为狗的概率）的每一列表示每个候选区域属于某分类
FPN（在FasterRCNN里面是如何运用的）
m0_48504824的博客
10-18 5051
FPN(Feature Pyramid Networks) FPN解决了什么问题？ 答：FPN的提出是为了实现更好的feature maps融合，一般的网络都是直接使用最后一层的feature maps，虽然最后一层的feature maps 语义强，但是位置和分辨率都比较低，容易检测不到比较小的物体。FPN的功能就是融合了底层到高层的feature maps ，从而充分的利用了提取到的各个阶段的特征（ResNet中的C2-C5 ）。 简单来说，就是把底层的特征和高层的特征进行融合，便于细致检测 下面来看一
深度学习笔记------现阶段的目标检测器结构解析（Neck[FPN,PANet,Bi-FPN],Head[rpn,yolo...]）
YOULANSHENGMENG的博客
12-10 1万+
目录 1. 概述 2. 经典Neck的回顾 2.1FPN(特征金字塔结构) 2.2 PANet 2.2.1创建了自下而上的路径增强 2.2.2 Adaptive Feature Pooling 2.3 Bi-FPN及FPN的演进ASFF，NAS-FPN，Recursive-FPN） 3 典型head回顾 3.1 RPN(RegionProposal Networ) 3.1.1 RPN的运作机制 3.1.2RPN详解 3.2 无融合SSD类型的head 3.3 自...
Faster R-CNN backbone - ResNet101.zip
07-03
标题"Faster R-CNN backbone - ResNet101.zip"涉及的是计算机视觉领域的一个关键算法——Faster R-CNN（快速区域卷积神经网络），它使用ResNet101作为其基础特征提取网络。Faster R-CNN是目标检测领域的里程碑式工作...
Faster R-CNN源码
12-27
**Faster R-CNN** 是一种深度学习框架下的目标检测算法，由Ross Girshick、Kaiming He、Shaoqing Ren和Jian Sun在2015年提出。它在R-CNN（Region-based Convolutional Neural Networks）的基础上进行了改进，显著...
基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。--数据
06-06
基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。 Faster R-CNN 实现目标检测 tensorflow 基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。 Faster R-CNN ...
基于Keras实现的Faster-R-CNN安全帽检测模型源码
最新发布
03-25
项目概述：本项目是一个基于Keras框架实现的Faster R-CNN安全帽检测模型，主要用于识别图像中的安全帽穿戴情况。项目代码开源，托管于GitHub（https://github.com/DataXujing/Faster-R-CNN-Keras）。 技术细节： - ...
Faster R-CNN理论整理
12-12
Faster R-CNN是一种在计算机视觉领域用于目标检测的深度学习模型，由Ross B. Girshick于2016年提出。它是在R-CNN（Region-based Convolutional Neural Network）和Fast R-CNN的基础上进一步优化的版本，显著提高了...
目标检测系列视频讲解(RCNN>FastRCNN>FasterRCNN>FPN>MaskRCNN)
03-13
自己精心整理的目标检测系列视频讲解mp4,从RCNN>FastRCNN>FasterRCNN>FPN>MaskRCNN,华文讲解,很详细! 01懒人学RCNN.mp4 02懒人学FastRCNN.mp4 03懒人讲FasterRCNN之简介.mp4 04懒人学FasterRCNN之融合.mp4 05懒人讲FasterRCNN之RPN.mp4 06懒人讲FPN之引言.mp4 07懒人讲FPN之深入浅出FPN.mp4 08懒人讲FPN之FasterRCNN实践.mp4 09懒人学MaskRCNN之介绍.mp4 10懒人学MaskRCNN之RoIAlign.mp4 11懒人学MaskRCNN之画龙点睛.mp4 12懒人学MaskRCNN之Architecture.mp4 13懒人学MaskRCNN之Architecture&画龙点睛.mp4 14懒人学Focal Loss.mp4
Feature Pyramid Networks for Object Detection 总结
生如蚁，美如神
11-21 1万+
最近在阅读FPN for object detection,看了网上的很多资料，有些认识是有问题的，当然有些很有价值。下面我自己总结了一下，以供参考。 1. FPN解决了什么问题？答： 在以往的faster rcnn进行目标检测时，无论是rpn还是fast rcnn，roi 都作用在最后一层，这在大目标的检测没有问题，但是对于小目标的检测就有些问题。因为对于小目标来说，当进行卷积池化到最后一层，实际
libtorch学习笔记（17）- ResNet50 FPN以及如何应用于Faster-RCNN
大飞的博客
09-19 1万+
FPN，即Feature Pyramid Networks，是一种多尺寸，金字塔结构深度学习网络，使用了FPN的Faster-RCNN，其测试结果超过大部分single-model，包括COCO 2016年挑战的获胜模型。其优势是小尺寸对象的检测。 torchvision中包含了ResNet50 FPN完整的源代码（这里参考的是torchvision 0.7.0里面的代码），这里就解读一下对应的实现，为了解释流畅，尽量采用ResNet50中的layer name，以及对应的参数： 这里画了一个全局图，将
Faster R-CNN - 目标检测详解
热门推荐
长风破浪会有时，直挂云帆济沧海
02-11 8万+
Faster R-CNN - 目标检测详解 [原文 - Faster R-CNN: Down the rabbit hole of modern object detection] 学习别人对于 Faster R-CNN 的理解，结合自己的理解，以掌握忽略的点. Object detection: an overview in the age of Deep Learning 已经对...
Faster RCNN如何结合FPN结构（很多程序成为Faster RCNN+FPN）
一路狂奔的猪的博客
03-20 1万+
参考: https://blog.csdn.net/u012426298/article/details/81516213 可以用下面这个图来解释，FPN不是一个完整的目标检测网络，只是一个特征金字塔网络，提到的FPN实际是特征金字塔提取特征，因此Faster RCNN加上FPN的思想，本质上就是改了特征提取部分，因为特征层变多了，因此ROIpooling也增加了。 FPN的motiva...
R-CNN系列目标检测算法--Region proposal based methods
weixin_42108090的博客
11-02 711
R-CNN uses selective search to first generate potential object regions in an image and then perform classificaton on the proposed regions. R-CNN requires high computational costs since each region is processed by the CNN network separately. Fast R-CNN and
基于区域的CNN（R-CNN）
吴建明wujianming_110117
06-30 684
基于区域的CNN（R-CNN） Region-based CNNs (R-CNNs) 基于区域的卷积神经网络或具有CNN特征的区域（R-CNN）是一种将深度模型应用于目标检测的开创性方法。在本节中，将讨论R-CNN及其一系列改进：Fast R-CNN[Girshick，2015]、Faster R-CNN和Mask R-CNN。由于篇幅的限制，将把讨论局限于这些模型的设计上。 R-CNNs R-CNN模型首先从一幅图像中选择几个建议的区域（例如，锚框是一种选择方法），然后标记类别和边界框（例如偏移量）。
CNN图像分割简史：从R-CNN到Mask R-CNN（译）
passball
11-24 2240
  一直想总结一下CNN在图像分割中的发展脉络（主要是R-CNN及其改进方法），看到一篇不错的英文博文《A Brief History of CNNs in Image Segmentation: From R-CNN to Mask R-CNN》，特此翻译过来，供自己和大家参考，若有侵权，还请告知。 另外还有一类基于FCN（Fully Convolutional Network）的语义分割方...
faster-rcnn构建backbone（fpn结构）
weixin_45103604的博客
05-12 1964
torch 1.10以上 对应torch vision 不含fpn结构（一个预测特征层） 修改train文件更改create_model 导入包 import os import datetime import torch import transforms from network_files import FasterRCNN, AnchorsGenerator from my_dataset import VOCDataSet from train_utils import GroupedB
faster r cnn 原理
06-09
Faster R-CNN是一种基于深度学习的物体检测算法，其原理如下： 1. Region Proposal Network（RPN）： Faster R-CNN首先通过卷积神经网络提取图像特征，然后在这些特征图上使用RPN来生成目标候选框。 2. RoI ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值