二阶段目标检测总结

最新推荐文章于 2024-10-09 17:24:52 发布
最新推荐文章于 2024-10-09 17:24:52 发布
阅读量1.3k 收藏 7
点赞数 2
文章标签： 网络 计算机视觉 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011046017/article/details/118321523
版权

概述：

最新几年的论文都是在单阶段、Transform上进行发掘提升，基本上2020-2021年二阶段论文全军覆没，这篇博文也是总结2016-2019年的发展，最后一篇CenternetV2比较特殊，不能完全算作传统意义的二阶段网络。

目前什么地方还使用二阶段论文？

  1. 比赛场景，经常使用FasterRCNN的变种+其它网络进行联合预测
  2. 目标比较小的场景(使用较少，一般用anchor-free、增大输入去代替、分割图像检测)
  3. 辅助一阶段使用，和(2)类似但不同。比如检测远距离人形+人脸，方案一：先检测人，后检测人脸，两个都是OneStage。方案二：使用TwoStage网络，第一阶段检测人形，第二阶段检测人脸。当然只有第二类别是第一类别的从属，且是唯一关系才能进行！

一. FasterRCNN

以torchvision给出的demo为例子：

  1. 第一阶段，和基础SSD等一阶段操作类似，但是这一阶段会立刻输出候选区域

https://github.com/pytorch/vision/blob/183a722169421c83638e68ee2d8fc5bd3415c4b4/torchvision/models/detection/rpn.py#L29

  1. 将候选区域从FPN输出的feature上抠出来

  2. 使用ROIPooling对齐候选特征的大小

https://github.com/pytorch/vision/blob/183a722169421c83638e68ee2d8fc5bd3415c4b4/torchvision/ops/poolers.py#L83-L277

  1. 第二阶段，直接进行FC细化Reg/Cls，当然这里只能是一个候选区域最多一个目标。
class FastRCNNPredictor(nn.Module):
    """
    Standard classification + bounding box regression layers
    for Fast R-CNN.
    Args:
        in_channels (int): number of input channels
        num_classes (int): number of output classes (including background)
    """

    def __init__(self, in_channels, num_classes):
        super(FastRCNNPredictor, self).__init__()
        self.cls_score = nn.Linear(in_channels, num_classes)
        self.bbox_pred = nn.Linear(in_channels, num_classes * 4)

    def forward(self, x):
        if x.dim() == 4:
            assert list(x.shape[2:]) == [1, 1]
        x = x.flatten(start_dim=1)
        scores = self.cls_score(x)
        bbox_deltas = self.bbox_pred(x)

        return scores, bbox_deltas
image-20210624170757195

注释：

  • 最后一步FC是参考anchor的做法，首先想到的是\(self.bbox\_pred = nn.Linear(in\_channels,4)\) ，因为已经使用class进行了过滤，没有必要再把regression去使用class再去过滤一遍。当然使用class对回归进行区分，这效果肯定优于单个回归。
  • 我们再进一步延伸，如果在不同的class之下，再使用一种手段(长宽、面积、anchor等)对其进一步划分，比如：假设候选区域数量不变为 \(P\)，类别为两类(人形、人脸)，进一步使用anchor限制(两个anchor，5和20，比例4倍以内使用5，超过4倍使用20)，这样会不会更精细？
  • 上一步我们限制了候选区域数量，能不能使用输入多个不同组的候选区域，后面连接多个不同的predict？这就是后续改进cascadeRCNN的由来。

二. MaskRCNN

  1. 第一阶段使用FasterRCNN，RPN网络都相同
  2. 第二阶段输出多一个分支 \(K\times m\times m\) , 其中 \(K\) 表示种类，\(m\) 表示输出分辨率

注意： 最后输出的mask大小是固定的，设置大小得根据实际种类而定。这个mask分支和FCN有点区别，这里使用K个feature，然后直接进行二分类操作，而FCN使用单个feature进行多分类操作，目前检测的分类loss都是进行单独的二分类操作。

image-20210624175016872

三. CascadeRCNN

  1. 第一阶段和FasterRCNN完全一样

  2. 第二阶段使用多个RoiHead层进行级联

下图完全显示了CascadeRCNN的由来

  • 下图(C)仅仅在前向计算的时候使用级联finetune操作，精度也得到一定提升，但是有两个缺陷。1)使用共享的Head-H1，不仅时间没降低，而且参数效果还不好。所以在端侧单阶段目标检测中，一般不使用共享的头，虽然参数减少了，但是计算量一点未变，所以都使用不共享的头。2)都是固定的，不能进行训练，后面的阶段已经处于过拟合状态。
  • 下图(d)最大的缺点就是候选区域固定，非常容易过拟合。有一个优点，后面的stage仅仅进行分类而不进行reg，这是cascade未考虑的。但是，分类分支花费的代价很小，基本影响不到大局，所以讨论的人很少。
  • 下图(b)融合了两者的优点，1)可训练。2)不共享。3)候选区域不同。
image-20210624175552697

四. Libra RCNN

未改变实际的流程结构，文章从均衡的角度对各个模块进行改进。

  1. \(feature\) 均衡，使用FPN、PAN、BiFPN进行互相链接
  2. 采样均衡，原始SSD分配使用Max-IOU，采样使用Random-Sample
  3. loss均衡，原始SSD直接使用独立的分支进行计算

IOU-Balance采样，下图是困难负样本(\(Iou<0.5\) 称为困难负样本)的Iou分布，其中64%样本\(Iou>0.05\)，36%的样本\(Iou<0.05\)，注意这里是百分比图，不是个数量图！！！下图中使用随机采样，会导致70%的样本\(Iou<0.05\) ，这明显是不符合下图的困难负样本的分布图的。如何将下附图的每个方格采样比例趋于平衡？很明显的想到还是使用方格将IOU进行区域划分(直方图的表示方法)，然后按照一定比例进行采样即可。论文给出一些控制参数，使得表达更为通俗易懂。

image-20210628102008413

关于feature部分的平衡，这部分有点玄，意义不大。。。

关于loss的平衡，主要对smooth-L1进行调整，文章分析了loss的贡献率，\(loss<1.0\) 贡献30%，相反贡献70%，既然要平衡，那就要提升 \(loss<1.0\) 的梯度(loss占比)，其实和focal-loss一样，都是提升困难样本的比重。

\[L_{b}(x)=\left\{\begin{array}{ll} \frac{\alpha}{b}(b|x|+1) \ln (b|x|+1)-\alpha|x| & \text { if }|x|<1 \\ \gamma|x|+C & \text { otherwise } \end{array}\right. \]
image-20210628105740276

五. GridRCNN

  1. 第一阶段和FasterRCNN完全一样
  2. 分类分支相同，回归分支使用关键点

从当前的角度看，这篇论文较为简单，属于简化版的anchor-free模型，因为是对候选区域进行操作，不需要anchor的匹配，不需要进行nms等操作。和top-bottom的pose估计一模一样！！

如果把第一阶段也使用关键点去估计，那这篇二阶段文章就完全是anchor-free+pose的文章了。

image-20210628114513211

需要注意一点，经常出现候选区域把目标截断(二阶段网络都存在的问题)，那关键点就不存在(使用0表示)，但是对于定位就很不准确。最简单的方式是直接扩大候选区域的截图范围，作者尝试这种方案效果不理想。作者采用候选区域不变，仅对候选回归框做扩大。如下图所示，绿色是目标框，白色实线是候选框，输入白色实线候选区域，在白色虚线的基础上进行回归。

image-20210628114708997

六. GridRCNN-V2

  1. 第一阶段和FasterRCNN完全一样
  2. 第二阶段和GridRCNN-V1基本相同

这篇论文主要是对第一版本的速度进行改进：

  • keypoint branch 从\(56\times56\)降低到\(28 \times 28\) ，论文说这样做不仅会加快速度，而且还会提高精度。之前在关键点上试验，使用期望定位会有精度损失。
  • 减小候选区域的大小，降低channels
  • 联合整个batch图像进行计算。之前使用for循环，单次计算单张图像，对于目标数量非常敏感，现在是对batch进行一次计算。
  • NMS仅进行一次
image-20210628143308421

七. Double-Head RCNN

  1. 第一阶段和FasterRCNN完全一样
  2. 第二阶段ROI-Head使用多个头进行预测

此想法类似多模型W联合预测WBF，使用全连接头+卷积头联合预测，唯一注意的是cls分支使用联合loss，而reg分支使用单独预测。

\[s=s^{f c}+s^{c o n v}\left(1-s^{f c}\right)=s^{c o n v}+s^{f c}\left(1-s^{c o n v}\right), \]

利用联合预测效果绝对有所提升，但是额外的分支预测占用较多的资源，如何做到Trade-Off是关键。

image-20210628192146045

八. CenterNetV2

在刚开始的概述(3)中，表达了一种二阶段网络的特殊应用，这篇文章将此应用表述成一种方案：我们可以使用任何一阶段的网络作为RPN层(包括anchor-based、anchor-free操作)，后面ROI阶段可以使用任何之前的第二阶段网络。这不就是集合前人的大杂烩？搞不懂为啥没有使用YOLOV4作为第一阶段进行比较？

image-20210628171112266

进一步引申：

  • 类似人形+人脸的检测组合(概述3)
  • 关键点检测模型(Top-Bottom)，比如人体关键点估计，可以直接使用二阶段网络。
影醉阏轩窗
关注
如何区分单阶段目标检测和双阶段目标检测？
crasher123的博客
05-27 514
总结： 单阶段目标检测和双阶段目标检测的主要区别在于是否采用了区域建议网络来生成候选区域，并且在目标定位和分类的流程上有所不同。这种方法通常更加准确，适用于对检测精度要求较高的场景，比如医疗影像分析、工业质检等。示例：以YOLOv3为例，输入一张图像，经过神经网络处理后，直接输出每个边界框的位置信息和类别概率，从而完成目标检测任务。该方法简单高效，适用于实时性要求较高的场景，比如视频监控、自动驾驶等。单阶段目标检测和双阶段目标检测是两种常见的目标检测方法，它们在目标检测任务中采用了不同的技术路线。
目标检测模型总结
Lc_001的博客
03-10 1848
目标检测模型总结
基于两阶段的目标检测综述.pptx
07-21
object detection(目标检测)就是在给定的图片中，找出图片所在的区域，然后判断这个区域是什么类别。目标检测技术在这几年已经发展得相当的成熟，识别精度还有训练速度在一定程度上已经到达了一个瓶颈期。使用深度学习的目标检测主要常用的方法是使用卷积神经网络提取特征，然后再使用分类器进行分类，还有使用回归方法将检测的目标进行定位。本文主要是介绍目标检测中两阶段目标检测经典的检测算法，以及对比他们的差异性优缺点。本文主要介绍的目标检测方法有，R-CNN、SPP-NET、Fast R-CNN还有Faster R-CNN。
二阶段目标检测介绍
u010751974的专栏
10-21 5308
二阶段目标检测算法（RCNN 家族）是目标检测中最经典的算法之一，有 R-CNN -> Fast R-CNN -> Faster R-CNN，每一代的变化以及目的性都明确，也是目标检测领域二阶段检测必会的算法之一。如果想对目标检测有更多了解请查看【CV算法恩仇录】目标检测合集。
了解目标检测：两阶段检测（Two-Stage Detection）、单阶段检测（Single-Stage Detection）和区域建议网络（RPN）
fydw_715的博客
07-29 2324
在两阶段检测中：RPN作为生成候选区域的关键组件，通过滑动窗口和锚点机制在特征图上生成高可能包含目标的候选区域。随后这些区域被进一步分类和调整，以提高检测精度。在单阶段检测中：没有RPN，直接在图像或特征图上进行预测。这减少了计算复杂度，但可能牺牲了一些细粒度的检测精度。Faster R-CNN：约100-200毫秒/图像YOLOv3：约22毫秒/图像Mask R-CNN：约200-300毫秒/图像YOLOv4：约30毫秒/图像Cascade R-CNN：约150-250毫秒/图像。
两阶段(two stage)目标检测原理详解 -- RCNN
热门推荐
AI学长
03-22 4万+
目录 一、目标检测的任务 二、什么是“两阶段”呢？ 三、两阶段算法原理 （二）候选区域算法 （三）边框回归（ Bounding Box Regression ） 1.非极大值抑制（Non-Maximum Suppression，NMS） 2.对候选框进行坐标调整 （三）RCNN模型结构 1. RCNN的模型结构 ​​​​​2.R-CNN 总结 目前目标检测领域的深度学习方法主要分为两类：two stage 的目标检测算法；one stage 的目标检测算法。 ...
目标检测综述——两阶段检测器
weixin_45325331的博客
02-01 3176
文章目录一级目录二级目录三级目录 参考文章： 论文笔记-2019-Object Detection in 20 Years: A Survey 基于深度学习的目标检测算法综述（一） 基于深度学习的目标检测算法综述（二） 基于深度学习的目标检测算法综述（三） 优秀的GitHub仓库： deep learning object detection Awesome Object Detection 比较全面的整理： 我这两年的目标检测 最全目标检测相关资料整理 我这两年收藏的目标检测好文分享 一级目录 二级目录
目标检测方法总结1
08-03
目标检测方法总结1 目标检测是计算机视觉领域中一个基础的任务，它的目的是要从图像中检测和定位特定的目标对象。目标检测方法可以分为两大类：two-stage 方法和 one-stage 方法。本文将对目标检测的基本概念、评估...
二阶段目标检测网络
sdhdsf132452的博客
12-16 507
R-CNN 1. 通过selective search选取候选区域（缺点：区域质量不好） 2. 将区域送进cnn中提取特征（缺点：每块区域单独进行cnn提取特征，计算量大） 3. 训练多个svm预测区域是否包含物体（缺点：2和3独立训练） 4. 使用区域特征训练线性回归器调整区域位置 fast R-CNN 1. 使用了roi-pooling，将每个区域均匀分成若干小块（缺点：仍然使用selective search选取候选区域） 2. 用softmax+回归 代替了 svm+回归 faster R-
双阶段目标检测算法总结
最新发布
jeeptim的博客
10-09 726
基本架构：选择性搜索算法(SS)+CNN+SVM+线性回归模型缺点：需要分开训练CNN\SVM\线性回归模型，因此无法做到端到端训练；因为每张图片需要提取2000个候选区域，每个区域需要特征数量大，因此推理速度极慢且占用内存大。选择性搜索算法：为了提升区域选择效率而使用的算法，该算法相较于穷举法有较大提升，其本质是图像分割算法。首先初始化区域集，计算相邻区域相似度，具有高相似度区域合并到一起。具体的相似度计算分为四个子模块（颜色、纹理、尺度、填充）。颜色和纹理是判断区域相似度的基本要素；
基于R-CNN的两阶段目标检测
Henry_Zhao的博客
05-05 1311
RPN网络中AnchorTargetCreator分析： 将20000多个候选的anchor选出256个anchor进行二分类和所有的anchor进行回归位置。为上面的预测值提供相应的真实值。选择方式如下： 对于每一个ground truth bounding box (gt_bbox)，选择和它重叠度（IoU）最高的一个anchor作为正样本。 对于剩下的anch...
深度学习中的两阶段目标检测
qq_59931372的博客
04-16 4687
目标检测作为计算机视觉中承上启下的一步，至关重要，可以说，实现了目标检测就实现了计算机视觉基本任务。目标检测急需要对物体进行识别，又要检测出物体的位置，难度较大，网络结构也层出不穷，在深度领域，从R-CNN到SPP-NET再到YOLO最后到SSD，可以说是百家争鸣，各有千秋。另一方面，目标检测应用非常广泛，例如生活中常见的人脸检测、车牌识别等；在自动驾驶领域，有行人识别、车道线识别；还有智能视频监控、机器人导航、飞机航拍等多种多样的应用。目标检测可以分解为两个步骤，
【模型架构】目标检测中的单阶段、两阶段、Anchor-Free和Anchor-based，以Faster-RCNN、YOLO、CornerNet、CenterNet为例
cjy_colorful0806的博客
05-25 2417
目标检测算法中，可以按照单阶段（One-Stage）和两阶段（Two-Stage）进行划分，也可以按照Anchor-Free和Anchor-based进行划分类型。不过，目前更流行的提法是后者。
两阶段目标检测 RPN算法
m0_54741987的博客
06-11 479
其中，RPN（Region Proposal Network）是两阶段目标检测中用来生成候选框的关键算法。5. 最后，将候选框送给第二阶段的网络，进一步进行目标检测。通过 RPN 算法生成的候选框，可以显著减少目标检测的计算量，提高准确率和速度。4. 使用非极大值抑制（NMS）筛选高概率的候选框，去掉重复的框，得到最终的候选框。2. 在特征图的每个位置生成多个锚点（Anchor），即不同长宽比和面积的矩形框。3. 对于每个锚点，RPN 输出两个值：其包含目标的概率，以及对应的边界框位置。
两阶段目标检测详解--FastRCNN
AI学长
03-27 2526
FastRCNN是2015年有名的两阶段目标检测算法。 基于SPP-Net之后的两阶段目标检测算法优化改进。 论文：https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf 代码：https://gitcode.net/mirrors/rbgirshick/fast-rcnn； 一、RCNN存在缺点 预测速度慢； 训练速度慢； 训练所需空间
目标检测算法综述—— Two-Stage方法
qq_24819773的博客
08-18 4757
1、概述 目标检测的任务是找出图像中所有感兴趣的目标（物体），确定它们的位置和大小，是机器视觉领域的核心问题之一。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。 1.1、什么是目标检测 目标检测的任务是找出图像中所有感兴趣的目标（物体），确定它们的位置和大小，是机器视觉领域的核心问题之一。由于各类物体有不同的外观，形状，...
深度学习与计算机视觉教程(12) | 目标检测 (两阶段,R-CNN系列)（CV通关指南·完结）
ShowMeAI研究中心
06-07 1万+
本文讲解两阶段（two stage）目标检测的发展史和典型算法：R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等的算法结构和核心流程【对应 CS231n Lecture 11】
一阶段和二阶段目标检测的区别
08-23
一阶段目标检测和二阶段目标检测是计算机视觉领域的目标检测算法两种主要的架构划分： **一阶段目标检测（One-Stage Detectors）**： 这种类型的检测器通常包含一个单一的预测步骤。它们直接从输入图像预测出物体的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值