目标检测算法——Faster R-CNN解析

最新推荐文章于 2022-09-07 13:56:37 发布
最新推荐文章于 2022-09-07 13:56:37 发布
阅读量443 收藏 1
点赞数
分类专栏： deep learning 文章标签： faster r-cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44695969/article/details/101520560
版权

文章目录

1 标准数据集----ImageNet

  • ImageNet是李飞飞团队创建的一个用于图像识别的大型数据库，里面包含了超过1400万张带标记的图片。
  • 2010年以来，ImageNet每年举办一次图片分类和物体检测的比赛----ILSVRC（大规模视觉识别挑战赛，Imagenet Large Scale Visual Recognition Challenge）。图片分类比赛中有1000个不同类别的图片，每个类别大约有200~1000张来自不同源的图片，后续很多优秀的神经网络结构都是从该比赛中诞生的。

2 潜在物体候选框（ROI, regions of interest）获取方法

2.1 选择性搜索（selective search）

首先将每个像素作为一组。然后，计算每一组的纹理，并将两个最接近的组结合起来。
为了避免单个区域吞噬其他区域，需要先对较小的组进行分组。
ss
SelectiveSearch在一张图片上提取出来约2000个侯选区域，需要注意的是这些候选区域的长宽不固定。 而使用CNN提取候选区域的特征向量，需要接受固定长度的输入，所以需要对候选区域做一些尺寸上的修改。

2.3 区域预测网络（RPN, region proposal network）

  • 1、用n×n(默认3×3=9)大小的窗口去扫描特征图的每个像素点，每个滑窗位置映射到一个低维的向量(默认256维)，并为每个滑窗位置考虑k种(在论文设计中k=9)可能的参考窗口(论文中称为anchors)
  • 2、这个n×n的滑动窗口经过整个特征层，并且每次计算都将经过这低维特征向量输入并最终输出2个结果：
    • 输出每个anchor位置对应的4个值(用于回归网络，修正位置)
    • 输出每个anchor位置是否为物体(是否为前景或背景概率，二分类网络)
  • 其中anchors：
    3*3卷积核的中心点对应原图上的位置，将该点作为anchor的中心点，在原图中框出多尺度、多种长宽比的anchors,三种尺度{ 128，256，512 }， 三种长宽比{1:1，1:2，2:1}，特征图中的每个像素点有9种框
  • 3、区域预测网络的训练
    • 标记anchor，用于训练
      anchors与任何ground-truth box的交并比（IoU）
      • IoU大于0.7记为正样本
      • IoU小于0.3，记为负样本
      • 剩下的样本全部忽略
      • 正负样本比例为1：3
    • 训练损失
      可以直接使用“分类+定位”的模型进行“head”修改
      注：这里使用的损失函数和Fast R-CNN内的损失函数原理类似，同时最小化两种代价
  • 4、候选区域的训练是为了让得出来的 正确的候选区域， 并且候选区域经过了回归微调。最终得到一定数量的潜在物体候选框（ROI）。
  • 注：在这基础之上做Fast RCNN训练是得到特征向量做分类预测和回归预测。
    rpn

3 候选框缩放

3.1 Crop+Warp

传统的CNN限制了输入必须固定大小，所以在实际使用中往往需要对原候选框（ROI）进行crop或者warp的操作，来保证输入大小一致。

  • crop：截取原图片的一个固定大小的patch
  • warp：将原图片的ROI缩放到一个固定大小的patch
    无论是crop还是warp，都无法保证在不失真的情况下将图片传入到CNN当中。会使用一些方法尽量让图片保持最小的变形。

原候选框（ROI）调整效果

  1. 各向异性缩放（不使用）：即直接缩放到指定大小，这可能会造成不必要的图像失真
  2. 各向同性缩放：在原图上出裁剪侯选区域， (采用侯选区域的像素颜色均值)填充到指定大小在边界用固定的背景颜色
    候选区域缩放

3.2 空间金字塔池化（SPP，spatial pyramid pooling）

通过SPP将任意大小的特征图转换成固定大小的特征向量
示例：假设原图输入是224x224，对于conv出来后的输出是13x13x256的，可以理解成有256个这样的Filter，每个Filter对应一张13x13的feature map。接着在这个特征图中找到每一个候选区域映射的区域，spp layer会将每一个候选区域分成1x1，2x2，4x4三张子图，对每个子图的每个区域作max pooling，得出的特征再连接到一起，就是(16+4+1)x256的特征向量,接着给全连接层做进一步处理，如下图：
spp

3.3 RoI Pooling

首先RoI pooling只是一个简单版本的SPP，目的是为了减少计算时间并且得出固定长度的向量。
在这里插入图片描述
RoI池层使用最大池化将任何有效的RoI区域内的特征转换成具有H×W的固定空间范围的小feature map，其中H和W是超参数 它们独立于任何特定的RoI。
例如：VGG16 的第一个 FC 层的输入是 7 x 7 x 512，其中 512 表示 feature map 的层数。在经过 pooling 操作后，其特征输出维度满足 H x W。假设输出的结果与FC层要求大小不一致，对原本 max pooling 的单位网格进行调整，使得 pooling 的每个网格大小动态调整为 h/H,w/W, 最终得到的特征维度都是 HxWxD。

它要求 Pooling 后的特征为 7 x 7 x512，如果碰巧 ROI 区域只有 6 x 6 大小怎么办？每个网格的大小取 6/7=0.85 , 6/7=0.85，以长宽为例，按照这样的间隔取网格：[0,0.85,1.7,2.55,3.4,4.25,5.1,5.95]，取整后，每个网格对应的起始坐标为：[0,1,2,3,3,4,5]
在这里插入图片描述
为什么要设计单个尺度呢？这要涉及到single scale与multi scale两者的优缺点
single scale，直接将image定为某种scale，直接输入网络来训练即可。（Fast R-CNN）
multi scal，也就是要生成一个金字塔，然后对于object，在金字塔上找到一个大小比较接近227x227的投影版本
后者比前者更加准确些，没有突更多，但是第一种时间要省很多，所以实际采用的是第一个策略，因此Fast R-CNN要比SPPNet快很多也是因为这里的原因。

4 非最大值抑制（NMS，non-maximum suppression）

  • 目的：对最终所有的候选区域得分，进行概率筛选，得到最终候选区域结果
  • 迭代过程：
    假设现在滑动窗口有：A、B、C、D、E 5个候选框，
    1. 第一轮：假设B是得分最高的，与B的IoU＞0.5删除。现在与B计算IoU，DE结果＞0.5，剔除DE，B作为一个预测结果
    2. 第二轮：AC中，A的得分最高，与A计算IoU，C的结果＞0.5，剔除C，A作为一个结果
    3. 最终结果为在这个5个中检测出了两个目标为A和B

nms

5 常用目标检测算法比较

5.1 R-CNN训练过程

在这里插入图片描述

5.2 SPPNet训练过程

在这里插入图片描述

5.2 Fast R-CNN训练过程

在这里插入图片描述

5.2 Faster R-CNN训练过程

在这里插入图片描述

tigerlib
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【目标检测】用Faster R-CNN训练自己的数据集
qq_41464279的博客
04-08 1万+
目录 一、环境准备 二、训练过程 三、推理过程 一、环境准备 我这里的环境是ubuntu18.04系统，colab + python3.7 二、训练过程 1、下载Faster R-CNN源码 ，我这里使用的源码是pytorch版本的 ，原作者的是tensorflow版本。在这里贴上代码地址。 https://github.com/chenyuntc/simple-faster-rcnn-pytorchhttps://github.com/chenyuntc/simple-fa...
Faster RCNN目标检测算法解析
Python数据之道
05-11 2030
作者：来自读者投稿来源：Python数据之道Faster RCNN 目标检测算法解析随着大数据时代的到来和计算机视觉的发展，近几年来目标检测领域取得了突破性的进展。目标检测的问题就是分类...
Faster RCNN训练过程、训练结果展示
kui9702的博客
04-10 4368
Faster RCNN 目标检测有2种，一种是one stage目标检测，比如YOLO，SSD，Retina-Net；另外一种是two stage，比如RCNN家族，SPP net等。 YOLO v3项目文章： https://blog.csdn.net/kui9702/article/details/122954209 https://blog.csdn.net/kui9702/article/details/123140249 https://blog.csdn.net/kui9702/article
PASCAL VOC数据集分析
热门推荐
girafffeee的博客
10-09 13万+
PASCAL VOC数据集分析 PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，从2005年到2012年每年都会举行一场图像识别challenge。 本文主要分析PASCAL VOC数据集中和图像中物体识别相关的内容。 在这里采用PASCAL VOC2012作为例子。下载地址为：点击打开链接。（本文中的系统环境为ubuntu14.04） 下载完之后解压，可以在
神经网络-标准数据集介绍
是云就要飞的博客
09-07 1935
无
目标检测Faster rcnn及Pascal voc数据集
weixin_43741711的博客
03-17 2700
1、PASCAL VOC2012数据集讲解与制作自己的数据集 Pascal VOC 2012数据集下载-把镜像网址复制到迅雷中进行下载，能达到10M/s pascal_voc是xml文件 labelimg-xml文件 labelme-json文件 train.txt和val.txt是互斥的，trainval.txt是用来训练最终网络的，可以用voc2007test数据集去做验证。 目标.txt-(1表示有该目标物，-1表示无该目标物，0表示检测起来difficult)，对每一个目标都有train\va
使用自己的数据集训练测试Faster R-CNN
ly_twt的博客
04-16 562
为了确保不出问题，可以在pascal voc数据集上测试一遍。具体操作参考：https://mp.csdn.net/console/editor/html/105561069 首先，你需要制作好自己的数据集，数据集格式与pascal voc2007相同。数据集制作请参考： 一、 在进行过pascal voc数据集的训练测试成功后。将以下文件夹删除： （1）output文件夹 （2...
【目标检测】R-CNN算法解读
weixin_41977337的博客
12-14 221
算法流程： 输入一张检测图片，提取1K到2K个候选区域； 对这些候选区域，利用深度神经网络进行特征提取； 神经网络提取特征利用SVM分类器，判断属于哪一个类别； 使用回归器修正每个候选框的位置。 每个步骤的详细解释： 生成候选区域 采用Selective Search的方法从一张图像生成约1000~2000张候选区域框。 Selective Search： 先利用分割将图片分割成小图； 利用一些合并规则，将小图均匀的合并； 合并若干次后，直到拼成整张原图； 输出所有生成小图...
基于opencv实现的目标检测 - SelectiveSearch算法源代码
07-28
**基于OpenCV实现的目标检测——SelectiveSearch算法源代码解析** 目标检测在计算机视觉领域中扮演着至关重要的角色，它能够帮助我们识别图像中的特定对象。R-CNN（Region with Convolutional Neural Networks）...
水果分类目标检测VOC数据集.zip
06-16
2. **模型选择**：根据项目需求，可以选择合适的预训练模型，如Faster R-CNN、YOLOv3或者Mask R-CNN，进行迁移学习。这些模型已经在大规模数据集上进行了预训练，对目标检测有很好的基础性能。 3. **模型训练**：...
FasterRCNN.zip
08-20
《Faster R-CNN在目标检测中的应用与技术解析》 Faster R-CNN（Fast Region-based Convolutional Neural Network）是一种广泛应用于计算机视觉领域的深度学习模型，专门用于目标检测任务。该模型由Ross Girshick等...
目标检测二维码数据集.rar
08-10
例如，Faster R-CNN、YOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）等模型都广泛应用于目标检测任务。这些模型通过学习大量的标注数据，能够自动提取特征，有效地定位和识别目标。 回到我们的...
基于opencv的YOLOV3对图片的目标检测
04-26
3. **Anchor Boxes**：YOLOV3借鉴了Faster R-CNN的Anchor Boxes思想，预先定义了一组比例和宽高比的参考框，以适应不同形状的目标，减少定位误差。 4. **新损失函数**：YOLOV3使用了联合的分类和定位损失函数，包括...
Faster RCNN 训练自己的数据集
Apple__fly的博客
06-19 4012
Faster RCNN 训练自己的数据集
Faster-RCNN系列（一） 制作自己的数据集Pascal_VOC格式
sage_wang的博客
02-18 7763
使用的是Faster-RCNN-TF 一、数据集准备 我们在做目标识别时，大家都知道要有训练集、验证集以及测试集，当然数据集格式也有很多种，我们这里使用的是pascal_voc数据格式。如下图是voc2007数据集文件夹格式 JPEGImages：用来保存你的数据图片，当然，对于faster-rcnn来讲，所有的图片必须是jpg/jpeg格式，其他格式的话要转换一下。另外，一定要对图片进行编...
Tensorflow框架下Faster-RCNN实践（一）——Faster-RCNN所需数据集制作（附代码）
ruyiwei.cas@gmail.com
08-02 2万+
最近刚实现了在Ubuntu16.04、Tensorfllow1.0下 Faster R-CNN 从数据制作到训练再到利用生成的模型检测的测试图片的全过程，现在将具体的过程记录在博客，方便遇到困惑或者需要的朋友查看。 制作数据集利用Faster R-CNN训练自己的数据的时候，一般有两种方法： 1、按照VOC2007的格式修改自己的数据格式 2、根据自己的数据格式修改源码 这里我们一般推荐第
经典目标检测算法详解（R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、YOLO、SSD）
tigerlib的博客
11-19 4932
1 目标检测算法分类 两步走的目标检测：先进行区域推荐，而后进行目标分类 代表：R-CNN、SPP-net、Fast R-CNN、Faster R-CNN 端到端的目标检测：采用一个网络一步到位 代表：YOLO、SSD ...
目标检测之FasterRcnn算法——训练自己的数据集（pytorch）
swpucwf的博客
11-17 1万+
数据集 数据集目录如上，VOC数据集的格式 JPEGImages目录下，放上自己的训练集和测试集 Annotations 下，放上自己的xml文档配置，如上。 在VOCdevkit\VOC2012\ImageSets\Main下，放上自己的train.txt和val.txt, 上面，我按照VOC的格式来的，前面是所有的XML，因为VOC有32类，这里有我懒的删除，刚好前面代表XML文件，后面代表这张图片中有多少该目标，-1表示没有。 这样的话，数据就准备好了。 准备一个json,文件，选择
ResNet(残差网络)之残差模块
tigerlib的博客
11-10 4万+
2015年何凯明提出的152层ResNet，获得了ILSVRC比赛图像识别的冠军（top1误差3.6%），同时也使得卷积神经网络有了真正的“深度”。随着网络深度的增加，训练变得愈加困难，这主要是因为在基于随机梯度下降的网络训练过程中，误差信号的多层反向传播非常容易引发“梯度弥散”（梯度过小会使回传的训练误差信号极其微弱）或者“梯度爆炸”（梯度过大导致模型出现NaN）的现象。目前一些特殊的权重初始...
睿智的目标检测27——pytorch搭建faster r-cnn目标检测平台
最新发布
01-28
目标检测是计算机视觉领域的重要任务，而Faster R-CNN作为目标检测领域的经典算法之一，具有较高的检测精度和鲁棒性。在睿智的目标检测系列中，我们将使用PyTorch搭建一个基于Faster R-CNN的目标检测平台。 首先，我们将使用PyTorch构建一个深度学习模型的基础框架。PyTorch是一个开源的机器学习库，具有灵活的设计和易于使用的特点，因此非常适合用于搭建目标检测平台。我们将利用PyTorch提供的模块和工具，构建一个包含RPN模块、ROI pooling模块和分类回归模块的Faster R-CNN模型。 其次，我们将使用标记好的目标检测数据集，如COCO或PASCAL VOC数据集，对我们搭建的目标检测平台进行训练和验证。我们将利用PyTorch内置的数据加载和预处理工具，以及优化器和损失函数，对Faster R-CNN模型进行端到端的训练，以提高检测精度和泛化能力。 最后，我们将通过在真实场景下的目标检测任务中的应用，来验证我们搭建的Faster R-CNN目标检测平台的性能。我们将评估其在目标定位、多目标检测、不同尺寸目标检测等方面的表现，并对可能的改进和优化进行进一步的研究和实验。 通过这样一个基于PyTorch搭建的Faster R-CNN目标检测平台，我们将能够深入理解目标检测算法的原理和实现细节，提高对深度学习框架的应用能力，并为未来的研究和应用奠定基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值