CV计算机视觉（4）——目标检测及Fast-RCNN解读（特征投影，ROI Pooling,ROI Align,Precise ROI Pooling）

最新推荐文章于 2022-05-13 21:59:45 发布
最新推荐文章于 2022-05-13 21:59:45 发布
阅读量955 收藏 1
点赞数
分类专栏： 14周AI人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41761357/article/details/112526207
版权

文章目录

前言

前面讲了两阶段检测的RCNN算法，我们提到它有一个缺陷就是2k个候选区域在测试阶段是存在大量重复的特征提取过程的，为了改进这一点，诞生了Fast-RCNN。

一、Fast-RCNN主要技术

1.共享卷积计算

为了避免重复的卷积，Fast-RCNN的做法是先把图片进行特征提取，得到特征图。然后再生成候选区域，根据候选区域的坐标乘以相应的尺寸缩放找到特征图上的对应特征。

如图所示：假设一张输入的尺寸为800×640.经过一系列CNN操作，得到一个尺寸为50×40的特征图
在这里插入图片描述
我们的目的是只经过一次卷积计算提取特征，现在我们已经做完了CNN，得到了全图的feature map。依然是经过selective search生成region，由于每个region都有一个Bbox的坐标，我们把region Bbox的坐标尺寸缩放一个跟CNN相同的比例（这个例子中是1/16，做了四次pooling，具体问题具体分析），然后对应的坐标点找到feature map上就是这个区域的特征了。（所谓的特征投影）。如下图，黄色region Bbox的坐标为（x0,y0,x1,y1）,缩放1/16得到（x0/16,y0/16,x1/16,y1/16），这个坐标在特征图上的区域就是该region的特征。
在这里插入图片描述

2.ROI POOLING

ROI的全称是region of interest，感兴趣的区域。
我们得到每个区域的特征后要把他们调整成统一的尺寸才能送入模型进行训练学习特征，在RCNN中是直接resize了一个尺寸，略粗糙。
在这里插入图片描述

Fast-RCNN的做法是用的ROI POOLING：如下图，以region为例，假设我们需要resize成7×7的尺寸，首先将feature分成7×7块，会有除不尽的块（比如高10除7得1余3，那么保证每行高1的情况下，最后一行多了余数3），然后在每个块区域做maxpooling，最后生成7×7的特征图
在这里插入图片描述
具体的训练细节：
batchsize=2
ROI=64
pos:neg=1:3
每批次训练2个样本，每个样本生成64个ROI，也就是每批次训练2×64=128个区域。
这128个区域按照1/4的正样本，3/4的负样本进行选择，选择方式跟RCNN相同，通过与GT的iou>0.5得出。

3.SVM替换成两个FC

将SVM替换成两个FC层，一个实现分类，一个实现回归。用SVD分解加速FC。

在这里插入图片描述

BP的loss函数：把分类和回归加起来。Lcls表示分类，用交叉熵计算，Lloc表示回归，用L1loss计算。
在这里插入图片描述
P是分类的预测得分
U是真实类别
t是Bbox
v是GT
其中参数λ表示这个是背景还是前景，因为我们只计算前景的回归损失，背景的回归不参与BP计算。
在这里插入图片描述

二、Fast-RCNN总结

在这里插入图片描述
对于一个输入B0，经过深度卷积B1得到它的特征图；
经过selective search生成2k个候选区的Bbox，Bbox的坐标缩放卷积的尺寸，对应到特征图上的坐标，得到特征图上的对应候选区特征；
在输入模型进入训练前，经过ROI pooling B2，B3，把不同尺寸的特征图resize到相同的尺寸，输入模型训练；
用两个FC层输出两个结果，一个是分类B4，一个是回归B5，然后加和求loss进行BP计算。

三、Fast-RCNN缺点

Fast-RCNN有严重的信息损失。
1.首先，在特征映射部分，坐标缩放不能整除的情况几乎是百分百存在的，由于特征映射过程中只保留整数坐标，就会损失小数点级别的特征信息。对于大目标损失小数点也许没什么，对于小目标的影响还是比较大的。
在这里插入图片描述

2.其次，在ROI Pooling部分，提取的特征经过一次MAX Pooling，resize到了相同的尺寸大小，这一步损失的信息更多。

四、ROI Pooling的改进

1.ROI Align

投影和ROI 合起来。在FAST-RCNN中，先得到整数尺寸的特征图，再对特征图做pooling,现在不这样了，直接坐标缩放一定的比例，对除不尽的部分不取整，假设需要ROI Pooling成2×2的大小，把没有整数化部分的特征图区域划分成2×2，最终的思想都是对这2×2的区域取出4个值代表这个区域，所以干脆直接在还没有损失信息的时候就选值。怎么选的呢？
在这里插入图片描述

首先根据要pooling的尺寸得到对应的几个区域（如上图），这个例子是4个区域，然后每个区域再划分成4块（N=4,经实验是最佳取值）
在这里插入图片描述

在子区域中用他们的中心点决定代表这个区域的值：（图中的粉色点）在这里插入图片描述
显然，中心点也不一定能整除，作者采用双线性插值的思想来求每个中心点的值。
在这里插入图片描述

这样，一个大区域的四个小区域就分别用四个中心点表示了出来，取最大的中心点作为ROI Pooling的取值。

2.Precise ROI Pooling

ROI Align虽有改进，但也不是所有像素点都参与计算，在分区的基础上，Precise ROI Pooling给每个点都做双线性插值
在这里插入图片描述
在这里插入图片描述

3.三种 ROI Pooling对比

1.ROI Pooling：两次量化损失信息
2.ROI Align：改进了量化损失信息过程
3.Precise ROI Pooling：将所有点考虑进去

schedule list
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RoI Pooling与RoIWrap Pooling与RoIAlign Pooling与Precise RoI Pooling
m_buddy的博客
12-19 3843
1. 前言 文章标题给出了四种Pooling的方法，这feature pooling方法是我在看论文的时候看到的，从最开的PoI Pooling到目前最新的Precise RoI Pooling由Pooling操作带来的检测精度影响越来越小。这篇文章目的是想梳理一下它们之间的区别与联系。 2. RoI Pooling 这种Pooling方法我是在Faster RCNN中看到的，该种Pooling方...
【ACL2020】用于改进文本分类的特征投影
zenRRan的博客
03-03 1811
点击上方，选择星标，每天给你送干货！作者：云不见学校：华南师范大学paper：Feature Projection for Improved Text Classification. AC...
深度学习中的 PreciseRoIPooling 在linux系统中的编译说明及踩坑
爱挪威的小年轻博客
05-13 2293
PreciseROIPooling使用过程中的常见问题及解决方案
计算机视觉——卷积神经网络（CNN）简介
weixin_42709563的博客
07-25 4271
在过去的几年里，关于介绍卷积神经网络(CNN)的文档有很多，特别是它已经彻底改变了计算机视觉领域。在这篇文章中，我们将以神经网络的基本背景知识为基础，探索CNN是什么，了解它是如何工作的，并从头开始构建一个简单的CNN。 1.目的 CNN的一个典型的用例是执行图像分类任务，例如查看宠物图像，并决定它是猫还是狗。这似乎是个简单的任务–为什么不直接使用正常的神经网络呢？ （1）图像大 目前用于处理计算机视觉问题的图像通常是224 x 224或更大，想象一下，构建一个神经网络来处理224 x 224彩色图像：包括
OpenCV统计应用-PCA主成分分析(图像完全解读)
王伟挺的专栏
05-09 7528
在图形识别方面,主成分分析(Principal Comonents Analysis,PCA)算是比较快速而且又准确的方式之一,它可以对抗图形平移旋转的事件发生,并且藉由主要特征(主成分)投影过后的数据做数据的比对,在多个特征信息里面,取最主要的K个,做为它的特征依据,在这边拿前面共变量矩阵的数据来做沿用,主成分分析使用的方法为计算共变量矩阵,在加上计算共变量矩阵的特征值及特征向量,将特征值以及所
caffe-fast-rcnn_RCNN_caffe_fastrcnn_
10-03
综上所述，“caffe-fast-rcnn_RCNN_caffe_fastrcnn_”是一个基于Caffe框架的Fast R-CNN实现，允许在没有GPU的情况下运行目标检测任务。这个实现不仅包含了Fast R-CNN的核心思想，即利用卷积特征和RoIPooling提高速度...
40_解释 ROI Pooling 和 ROI Align 的区别1
08-03
ROI Pooling 和 ROI Align 的区别 在目标检测网络 Faster R-CNN 和实例分割网络 Mask R-CNN 中，对候选框 ROI 中的固定数目特征的提取非常重要。 ROI Pooling 和 ROI Align 都是用于提取 ROI 中的特征，但是它们有...
pytorch-使用Pytorch实现的faster-rcnn目标检测算法.zip
最新发布
03-02
在计算机视觉领域，目标检测是一项关键技术，用于识别和定位图像中的特定对象。Faster R-CNN（快速区域卷积神经网络）是由Ross Girshick等人在2015年提出的一种高效的目标检测算法，它在当时极大地提升了检测速度和...
目标检测算法-faster-rcnn-pytorch-master.zip
04-12
Fast R-CNN虽然提出了ROI Pooling的特征提取方式，很好地解决了传统R-CNN中将Region Proposal区域分别输入CNN网络中的弊端。但是！！！始终都是用的传统Selective Search搜索方式确定Region Proposal，训练和测试时...
fast-rcnn图像识别
08-02
**Fast R-CNN图像识别详解** Fast R-CNN是一种高效的目标检测框架，由Ross Girshick在2015年提出，是R-CNN（Regions with Convolutional Neural ...对于深度学习和计算机视觉的研究者来说，这是一个非常有价值的资源。
【深度学习】ROI Pooling 和 ROI Align 计算机视觉 目标检测
q742971636的博客
04-15 2303
【深度学习】ROI Pooling 和 ROI Align 计算机视觉 目标检测
ROI Pooling层详解
热门推荐
AUTO1993的博客
11-12 7万+
ROI Pooling层详解 原文链接：https://blog.deepsense.ai/region-of-interest-pooling-explained/ 目标检测typical architecture 通常可以分为两个阶段： （1）region proposal：给定一张输入image找出objects可能存在的所有位置。这一阶段的输出应该是一系列object可能位置
机器学习入门-数值特征-进行多项式变化(将特征投影到高维度上) 1.PolynomialFeatures(将数据变化为多项式特征)...
weixin_34326429的博客
01-25 687
函数说明： 1.PolynomialFeatures(degree=2, interaction_only=False, include_bias=False) 参数说明:degree=2,表示多项式的变化维度为2，即^2, interaction_only表示是否只使用a*b, include_bias是否添加一列全部等于1的偏置项 对数据进行多项...
目标检测（Object Detection）算法（三）：Fast R-CNN
ait2018
09-03 397
0. 引言 该系列之前的两篇文章分别介绍的R-CNN和SPPnet都具有非常明显的缺点。
目标检测特殊层 ROIpooling和ROI Align和ROI warp和PSROIPooling和PSROI-Align
女王の专属领地
06-04 1万+
1、RoI Pooling 实现从原图ROI区域映射到卷积区域最后pooling到固定大小的功能，然后通过池化把该区域的尺寸归一化成卷积网络输入的尺寸。 2、ROIAlign 上面RoI Pooling从原图ROI映射到卷积区域，即原图ROI与特征图ROI之间的映射，使用了stride间隔的取整，使得特征图ROI再映射回原图ROI的时候有stride的误差。尤其经过最大值池化后的...
【CV基石】RoI Pooling与RoIWarp Pooling与RoIAlign Pooling与Precise RoI Pooling
hello AI
05-10 758
https://blog.csdn.net/wangyong1988/article/details/81064995 https://blog.csdn.net/kk123k/article/details/86563425 https://blog.csdn.net/m_buddy/article/details/85110124 https://github.com/chainer/chai...
Maskrcnn理解--RoIPooling, RoIWarp, RoIAlign
mjiansun的专栏
11-14 3615
一定要先看这里，不然下面有点懵： 在fasterrcnn的基础上理解，在已经检测到候选前景框的情况下使用RoIPooling（Crop或者RoIWarp或者RoIAlign）实现尺寸统一化，然后将统一化尺寸的特征图送入后续的RCNN进行分类和回归 解释下为什么需要尺寸统一化：在卷积神经网络中，如果使用到了全连接层，那么在全连接前一层的特征图尺寸必须固定，不然你想呀，从一个特征图到全连接层的...
ROI Pooling原理及实现
Elag的专栏
05-11 7万+
目标检测architecture通常可以分为两个阶段： （1）region proposal：给定一张输入image找出objects可能存在的所有位置。这一阶段的输出应该是一系列object可能位置的bounding box。这些通常称之为region proposals或者 regions of interest（ROI），在这一过程中用到的方法是基于滑窗的方式和selective sear...
Fast-RCNN 检测模型
05-24
Fast R-CNN 是针对 R-CNN 和 SPPNet 的缺点而提出的一种检测模型，它是一种端到端的检测模型，可以同时进行目标检测和分类。相比于 R-CNN 和 SPPNet，Fast R-CNN 的速度更快、准确率更高。 Fast R-CNN 的主要特点是引入了 RoI pooling 层，该层可以对不同大小的 RoI 进行池化操作，将 RoI 的大小统一为固定大小，从而方便网络后续的处理。此外，Fast R-CNN 还采用了共享卷积特征的方式，可以在提高检测速度的同时，保持检测准确度。 Fast R-CNN 的训练过程包括两个阶段：首先使用卷积神经网络（CNN）对图像进行特征提取，然后使用 RoI pooling 层对 RoI 进行池化操作，最后通过全连接层进行分类和回归。此外，Fast R-CNN 还采用了多任务损失函数，同时考虑分类误差和边界框回归误差，进一步提高了检测准确度。 总的来说，Fast R-CNN 是一种比较高效、准确的检测模型，已经被广泛应用于计算机视觉领域，如目标检测、行人重识别、人脸识别等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值