You Only Look One-level Feature 笔记

最新推荐文章于 2024-07-21 13:59:39 发布
最新推荐文章于 2024-07-21 13:59:39 发布
阅读量2.3k 收藏
点赞数 2
分类专栏： cvpr2021 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bieliwuguiqi/article/details/121487565
版权

Scale-aware Automatic Augmentation for Object Detection

Y ukang Chen1*†, Yanwei Li1†, Tao Kong2, Lu Qi1, Ruihang Chu1∗, Lei Li2, Jiaya Jia1.3

1 The Chinese University of Hong Kong 2 ByteDance AI Lab 3 SmartMore

published on cvpr2021

问题提出

FPN

FPN主要有两个核心的收益：

一方面，FPN可以进行多尺度特征融合，它将多个尺度的特征图融合在一起获得更好的表示；

另一方面，它又是一种分治策略，依据目标的不同尺度在不同级别的特征图上检测目标。

MiMo-SiSo对比试验

作者在RetinaNet的基础上通过解耦多尺度特征融合和分治功能设计了实验。具体而言，将FPN视作一个多进多出（Multiple-in-Multiple-out，MiMo）编码器，它从骨干网络编码多尺度特征并且为解码器即检测head提供特征表示。作者对MiMo（多进多出）、单进多出（SiMo）、多进单出（MiSo）和单进单出（SiSo）编码器进行了对比实验

这些实验结果表明两个事实：

第一，C5特征图上其实就包含了检测各种尺度目标的足够的上下文信息，这就导致SiMo编码器可以获得相当不错的效果；

第二，多尺度特征融合带来的收益要远远小于分治策略带来的收益，因此多尺度特征融合在FPN不是最关键的功能。

MiMo-SiMo编码器分析

作者先对MiMo编码器代价进行了一个定量分析。基于RetinaNet，将检测任务的pipeline分为三个部分：backbone、encoder（编码器）、decoder（解码器）

 

其中C表示模型的编码器和解码器中使用的通道数

左边：FLOPs，相比于SiSo结构，MiMo结构给编码器和解码器带来了巨大的内存开销

右边：FPS，MiMo结构比SiSo慢了很多，分析这个低速来源于高分辨率特征图（C3）上的目标检测

方法

设计一个SiSo结构取代MiMo结构

但是将MiMo直接换为SiSo会引起巨大的性能下降。

作者对此进行了详细分析，

第一，与C5特征图感受野匹配的目标尺度范围是有限的，这阻碍了不同尺度目标的检测表现；

第二，由于单级特征图上稀疏anchor生成策略造成的正样本不均衡问题。

Limited Scale Range

SiSo结构中只会输出固定感受野的单级别的特征图，如(a)所示

C5级别的特征图只能覆盖一个受限的感受野，当目标的尺度和感受野不匹配时，检测效果就会很差

作者设计了如上图所示的SiSo结构，名为Dilated Encoder。

包含两个组件，分别是Projector和Residual Blocks。

Projector首先是1×1的卷积层来降低通道维数，然后一个3×3卷积层（消除上采样的混叠效应），这与FPN一致。

然后，叠加连续4个卷积核膨胀率不同的残差块(第一个1x1卷积通道减少4倍，然后一个3x3膨胀卷积用于增大感受野，最后的1x1卷积恢复通道维度)，生成具有多个感受野的输出特征，覆盖所有对象的尺度（c）。

Imbalance Problem on Positive Anchors

在RetinaNet中，如果一个anchor和GT框之间的最大IoU大于一个给定的阈值，这个anchor就是一个正样本

这个策略称为Max-IoU匹配

当采用SiSo编码器时，anchor的数量比MiMo编码器中的anchor的数量减少了很多，从100k减少到5k，导致anchor是非常稀疏的。

对稀疏的anchor采用Max-IoU匹配会引起一个问题，如下图所示，大GT框比小GT框会产生更多的正anchor，从而造成了正anchor的不平衡问题。

Top1：只取IoU最大的框

ATSS：自适应采样正锚点

Max-IoU：RetinaNet使用的方法

因此，作者设计了一个均衡匹配（Uniform Matching）策略，即对每个GT框而言，只采用最接近的k个anchor作为正anchor，这就能如上图一样保证每个GT框不论尺寸大小都有相同数目的正anchor。

  • 遍历每个 gt bbox，然后选择 topk 个距离最近的 anchor 作为其匹配的正样本

  • 遍历每个 gt bbox，然后选择 topk 个距离最近的预测框作为补充的匹配正样本

  • 计算 gt bbox 和预测框的 iou，在所有负样本点中，将 iou 高于 0.75 的负样本强制认为是忽略样本

  • 计算 gt bbox 和 anchor 的 iou，在所有正样本点中，将 iou 低于 0.15 的正样本强制认为是忽略样本

YOLOF

  • 后缀为R101或X101:使用ResNet-101或RetNeXt-101-64×4d

  • 使用多尺度培训和测试技术(†表示多尺度培训，‡意味着多尺度测试)

  • 数据集：COCO2017

  • FPS是根据总推断纯计算时间在2080Ti上以批大小1计算

  • Uniform Matching 作用非常大，说明该模块其实发挥了 FPN 的分治作用

  • Dilated Encoder 配合 Uniform Matching 可以提供额外的变感受野功能，有助于多尺度物体预测

bieliwuguiqi
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YOLOF-You Only Look One-level Feature阅读笔记
lovep1的博客
04-05 409
paper：https://arxiv.org/abs/2103.09460 code：https://github.com/megvii-model/YOLOF 本文最大的贡献应该是对FPN重新进行了思考，从另外一个角度认为fpn解决的也许不是多尺度特征融合的问题，干掉了由于fpn带来的多级密集anchors带来的庞大计算量的问题，针对paper认为的fpn潜在解决的问题，paper提出了新的结构，替代fpn，使用单级featuremap预测，从而大幅度减少了计算量和训练时的迭代时间，本文将按照pap
[阅读笔记]You Only Look One-level Feature
qq_27489699的博客
07-16 134
4. Method 4.1Limited Scale Range 用dilated conv扩大C5的feature的感受野（惊了，不是因为C5的resolution太小所以才提的FPN吗？）把得到的feature跟原来的feature相加，这样就能cover所有的scale了。 Dilated Encoder： 先用跟FPN一样的1x1 conv + 3x3 conv。After that, we stack four successive dilated residual bloc...
You Only Look One-level Feature 论文笔记
Tianchao龙虾
09-29 179
You Only Look One-level Feature YOLOF CVPR2021 论文链接: https://arxiv.org/abs/2103.09460 一、 Problem Statement 作者认为FPN网络的成功来自于两个方面: multi-scale feature fusion和 divide-and-conquer的方法。前者可以融合低分辨率和高分辨率的特征图来获得更好地表征;后者可以在不同层级上检测目标。现在大部分研究都是关于前者，后者被忽略了。但是作者实验表面: FP
《YOLOF：You Only Look One-level Feature》论文笔记
m_buddy的博客
11-01 326
参考代码：YOLOF 1. 概述 导读：回顾之前检测网络中普遍使用的FPN网络进行不同尺度特征的融合，以及在不同scale下进行目标检测（不同size的目标会被分配到不同stride的FPN特征图上），这其实是一种分而治之的策略。但是这样的网络设计方式会带来较多的计算开销，毕竟需要计算那么多层级的FPN金字塔。而这篇文章的思路便是思考可否将FPN网络进行简化，这样检测网络的耗时就能得到极大减少。对此文章将FPN网络部分进行替换，只使用一个C5特征尺度完成全尺寸的目标检测任务。对于感受野问题，文章通过带sh
论文笔记 FCOS: Fully Convolutional One-Stage Object Detection - ICCV 2019
weixin_43791477的博客
03-07 2490
有点懒了，不想翻译了。。。
MacOS 链接特性：Two-Level Namespace
fcsfcsfcs的博客
11-28 476
在 MacOS 编译链接时，可能经常会报找不到符号的错误，本文所介绍的 two-level namespace 的链接特性可能就是报错原因之一。 本文为笔记附带翻译，想看详细内容的话，在文末附上了参考链接，由于篇幅不算大，所以我简单地翻译了一下，如有错误，帮忙指出，多多包涵。 1、Two-Level Namespace & Flat Namespace When an executable file is loaded into a program, the dynamic linker (the
Faster R-CNN论文笔记
qq_20549061的博客
04-15 607
Faster R-CNN论文翻译 Abstract State-of-the-art object detection networks depend on region proposal algorithms to hypothesize object locations. Advances like SPPnet [1] and Fast R-CNN [2] have reduced the ...
计算机视觉论文-2021-03-10
中科院AI算法工程师的博客
03-10 4958
本专栏是计算机视觉方向论文收集积累，时间：2021年3月9日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Selective Replay Enhances Learning in Online Continual Analogical Reasoning AUTHORS: Tyler L. Hayes ; Christopher Kan...
BiFPN，one-stage，two-stage
m0_56175815的博客
06-11 3747
BiFPN，one-stage，two-stage
You Only Look Once- Unified, Real-Time Object Detection-孙超1
08-03
YOLO（You Only Look Once）是一种革命性的对象检测方法，由Joseph Redmon、Santosh Divvala、Ross Girshick和Ali Farhadi等人在2016年提出。这个算法摒弃了传统的将分类器重用为检测器的做法，而是将目标检测视为...
YOLOV4-Tiny：You Only Look Once-Tiny目标检测模型在TF2当中的实现
07-01
YOLOV4-Tiny：You Only Look Once-Tiny目标检测模型在TF2当中的实现.支持多GPU训练，新增各个种类目标数量计算，新增heatmap。修改了loss组成，使得分类、目标、回归loss的比例合适、支持step、cos学习率下降法、...
YOLOV4：You Only Look Once目标检测模型在pytorch当中的实现-Python开发
05-25
YOLOV4：You Only Look Once目标检测模型在pytorch当中的实现 目录 实现的内容 Achievement 所需环境 Environment 注意事项 Attention 小技巧的设置 TricksSet 文件下载 Download 预测步骤 How2predict 训练...
YOLOv3/YOU ONLY LOOK ONCE
06-21
YOLOv3/YOU ONLY LOOK ONCE YOLOv3/YOU ONLY LOOK ONCE
You Only Look OnceUnified, Real-Time Object Detectio.pdf
08-14
yolov1算法初步介绍，希望可以帮助你学习，推广机器视觉。
Python代码，强化学习，深度学习
2401_85886655的博客
07-19 758
python代码编写，Python算法设计，强化学习优化，改进模型，训练模型，测试模型，可视化绘制，代编运行结果，交互多模型改进，预测模型，算法修改，Python包管理、数据分析、数据可视化、代码报错等等。Matlab代编，Python代编，神经网络，计算机视觉。问卷分析|数据查找！医学统计，回归分析，空间计量，神经网络。实证分析，事件分析，统计建模，面板模型。相关分析|生存分析，金融计量，各类算法。以上均可，个人保证高质量，保证效率。电子通信机器学习图像处理等。
WDL（Wide & Deep Learning for Recommender Systems）——Google经典CTR预估模型
weixin_41570231的博客
07-18 861
Wide & Deep Learning for Recommender Systems这篇文章介绍了一种结合宽线性模型和深度神经网络的方法，以实现推荐系统中的记忆和泛化。这种方法在Google Play商店的应用推荐系统中进行了评估，展示了其显著的性能提升。推荐系统中的记忆和泛化。
卷积神经网络（CNN）
最新发布
weixin_52201996的博客
07-21 853
图片分类：输入一个固定尺寸的图片，在通过一个Model之后，会得到一个输出，这个输出是一个vector。最右边的ŷ就是识别这个图片中有什么，向量中的Dimension越多就表示它可以识别出的东西种类越多。比如这张图片，y’与ŷ所表达出来的含义就是这张图片是猫的概率为70%接下来问题是：怎么让输入可以是一张图片？可以把一张图片当作是三维的tensor，分别是长，宽还有图片的rgb。之前输入的时候都是以向量形式输入的，所以就把这三维拉成最右面这样的向量形式，分别是三组100*100的接在一起。
【深度学习入门篇 ⑧】关于卷积神经网络
小森的博客
07-17 647
Convolution，输入信息与核函数(滤波器)的乘积。
you only look once: unified, real-time object detecti
11-24
"YOLO：统一、实时的目标检测"简称YOLO，是一种深度学习算法，用于实时目标检测。它的核心思想是将目标检测问题转化为单个统一的回归问题，使得只需一次前向传播即可直接预测出目标的位置和类别。 相比于传统的目标检测方法，YOLO具有显著的优势。首先，YOLO采用了统一的网络结构，端到端地完成整个目标检测过程。这意味着不需要将图像分割成多个部分进行处理，减少了冗余计算，提高了计算效率。 其次，YOLO实时性能出色。它将目标检测任务与边界框回归深度学习模型相结合，使得可以在一次前向传播中同时预测出多个目标的位置和类别。因此，YOLO在速度上远远超过了传统的基于滑窗的目标检测方法。 此外，YOLO还采用了多尺度的特征图来检测不同大小的目标。通过在不同层级的特征图上进行预测，YOLO可以有效地捕捉目标的多尺度信息，并提高了目标检测的准确性。 然而，YOLO也存在一些局限性。由于采用了统一的网络结构，YOLO对小尺寸的目标检测相对较差。此外，当目标之间存在重叠或者遮挡时，YOLO可能会出现漏检或者虚警的情况。 总而言之，YOLO是一种统一、实时的目标检测算法，具有高效、准确的特点。它在图像处理、智能安防、自动驾驶等领域具有广泛的应用前景。然而，为了提升其性能，在处理小尺寸目标和目标重叠等复杂场景时，仍需要不断的研究和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值