论文快读：DETReg（CVPR2022）

已于 2022-07-08 12:29:12 修改
阅读量1.2k 收藏 5
点赞数 2
分类专栏： 论文阅读 cv 文章标签： 计算机视觉 目标检测 自监督
于 2022-05-29 22:02:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q1w2e3r4470/article/details/125035999
版权

这是以色列特拉维夫大学和Microsoft Research搞的一篇关于自监督预训练检测任务的文章，DETReg: Unsupervised Pretraining with
Region Priors for Object Detectionh， 代码https://www.amirbar.net/detreg/
他们关注的是目标检测自监督训练领域，他们觉得当前如SwAV, ReSim, InsLoc这些工作，给DETR检测网络做自监督预训练时只是训练了CNN主干，而检测部分没有预训练，限制了自监督训练期间学习到更好表达的能力，因此他们的工作就是在自监督预训练阶段，训练整个DETR网络，同时学习定位目标和编码目标。文中也提到了一个和他们有类似想法的工作——UP-DETR, 这个方法也是预训练整个DETR, 显著的区别是它的region是随机生成的。
该文的第一张图就显示，用DETReg做预训练后，模型是具备目标定位的能力的
在这里插入图片描述

DETReg包含2个任务，目标定位任务，目标嵌入任务
在目标定位任务中，他们使用简单的Region Proposal方法，如Selective Search，使用如颜色连续性，层次，边缘特征来提取proposal, 不管目标类别，要求recall。通过排序或者随机选取一部分作为region. 目标嵌入任务的目标是预测region的自监督图像编码，本文是用SwAV提取region的特征来蒸馏，它希望检测网络学习到图像到SwAV特征的嵌入。
在这里插入图片描述
这篇文章使用的检测网络是DETR, 讲的故事是怎么用自监督的方法预训练DETR，要预训练完整的DETR， 就需要Region和region图像编码的监督信号，它简单底用高recall的Selective Search产生的框作为定位的pseudo ground-truth, 这些框又用SwAV来提取特征，并用这些特征来作为embedding的pseudo ground-truth。因为到finetune时才有类别信息，所以这时候才训练对物体的分类。这需要将DETR的输出和上述这些伪ground-truth做匹配，该文用的是匈牙利匹配。
该文的第一个实验对比表格用来表明DETReg方法比监督预训练，SwAV， UP-DETR好
在这里插入图片描述
像其他搞自监督的文章一样，总要限制下游任务的finetune epoch数来比较，不得不吐槽这受调参的影响有多大，不同的方法你总不能用同一套超参吧。你可以理解为，同样的epoch数下，这些自监督预训练过的模型训练起来收敛会更快，这里DETReg是最快的，省训练时间？其实工业界更想知道训练到完全收敛后的精度比较

YiyangJump
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
快读免费小说ios1.0.5版本
10-29
可以看正版源，无广告，轻松阅读，正版功能基本都有的！
《QT快读入门》
04-17
《QT快读入门》第三版
论文阅读《DETReg: Unsupervised Pre-training with Region Priors for Object Detection》
weixin_42089699的博客
02-28 609
本文链接： https://arxiv.org/pdf/2106.04550.pdf 问题及创新点： 1.利用传统算法，选择一些可能存在物体目标的区域送入网络进行处理，作为伪标签（fbox）； 2.除了图像块伪标签，本文还采用其他预训练方法得到的基干网络来产生高维特征(femb)和块分类（fcat,是否是proposal块）作为伪标签 上图中的Detector采用DETR或Deformable DETR,这部分即本文需要重新预训练的部分，后续用于下游任务中，Encoder采用别人已经训..
DETReg：利用区域先验进行无监督预训练以检测物体
最新发布
weixin_46831727的博客
09-02 268
目前的方法没有对整个物体检测网络进行预训练，尤其是定位和区域嵌入部分。如图所示以前的方法如SwAV，只对检测器backbone进行预训练，而不对定位进行预训练。因此预训练后的模型无法检测到物体，如绿框。定位模块必须随机初始化，并针对下游任务从头开始训练。最近的Up-DETR对整个网络进行了预训练，然而由于预训练过程中缺少groundtruth，其预训练任务只能学会重新识别随机区域，而不是物体。因此，预训练后，也无法有效的定位实际物体，橙色框所示。
DETReg: Unsupervised Pretraining with Region Priors for Object Detection (2021)
qq_37297763的博客
10-26 2919
1. 出处 2021 CVPR 貌似没中，我在谷歌学术和微软学术上都没搜到 2. 问题 已有的自监督方法不是专门为了检测中的一个重要任务——定位物体而设计的。 大多数已有的自监督方法只学习检测网络的部分结构，通常只是检测器的子网络，比如ResNet，只学习backbone对于检测模型是远远不够的。 3. 解决方案 提出了一个使用Region priors的Transformer进行目标检测的无监督预训练方法，叫作DETReg。作者受目标检测两个任务（分类和定位）的启发，合并自监督中两个互补的信号。 对于目
DN-DETR 2022
gesshoo的博客
03-28 1023
【DN-DETR: Accelerate DETR Training by Introducing Query DeNoising】 DETR收敛速度慢的原因是二部图匹配算法的不稳定性，导致早期训练阶段的优化目标不一致。 提出一种新颖的去噪训练方法加快收敛，并使效果更好。在训练过程中引入查询去噪任务来帮助稳定二部图匹配。我们将带噪声的地面真值边界框作为带噪声的查询与可学习的锚点查询一起馈送到变压器解码器中。对于有噪声的查询，我们执行去噪任务来重建它们对应的地面真值框；对于其他可学习的anchor que
CVPR 2022 | 高分论文！港科大/IDEA/清华提出DN-DETR: 加速DETR收敛的去噪训练
阿木寺的博客
03-11 1725
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：弃之 |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/478...
C++ 快读+namespace包含主程序模板
08-06
namespace 中的主程序，变量函数名字随意，更方便 快读模板：！→_→ 珍爱生命，远离TLE
FastIO.h——C++快读快写模板库
11-30
C++快读快写模板库（暂不支持实数、复数类型），适用于对输入输出速度要求高的场景。
一文细数Vision transformer家族成员
简单记录生活、学习
03-18 2005
可以看作是vision transformer的idea集，查漏补缺使用。需要精读的文章前面加了*号，均附有文章链接及代码链接。 下面这个链接基本上有所有的ViT的论文地址：https://github.com/dk-liang/Awesome-Visual-Transformer Image Classification Uniform-scale *ViT paper：https://arxiv.org/abs/2010.11929 code：https://github.com/go.
CVPR2021 | 论文阅读——UP-DETR: Unsupervised Pre-training for Object Detection with Transformers（PPT）
Liaojiajia-Blog
06-16 2000
论文链接：https://arxiv.org/abs/2011.09094 开源代码：https://github.com/dddzg/up-detr PPT参考链接：https://www.bilibili.com/video/BV1o54y187vG?p=4&t=93
计算机视觉最新进展概览(2021年6月6日到2021年6月12日)
weixin_36670529的博客
02-25 1024
1、A Dataset And Benchmark Of Underwater Object Detection For Robot Picking 2、MST: Masked Self-Supervised Transformer for Visual Representation 3、
精度更高，速度更快！锚点 DETR：基于 transformer 目标检测的查询设计（AAAI 2022）...
我爱计算机视觉
05-10 858
关注公众号，发现CV技术之美本文转自旷视研究院。此篇论文已被 AAAI 2022 收录，论文链接请见“阅读原文”。● 简介●近年来，以 DETR[1]为代表的基于 transformer 的端到端目标检测算法开始广受大家的关注。这类方法通过一组目标查询来推理物体与图像上下文的关系从而得到最终预测结果，且不需要 NMS 后处理，成为了一种目标检测的新范式。但是，这类方法尚...
目标检测2022最新进展
热门推荐
Fantastic
03-17 3万+
文章目录前言Swim Transformer V2Swin TransformerDynamic HeadYOLOFYOLORYOLOXScaled-YOLOv4Scale-Aware Trident NetworksDETRDynamic R-CNN 前言 之前目标检测综述一文中详细介绍了目标检测相关的知识，本篇博客作为扩展补充，记录目前（2022）目标检测的最新进展，主要是在coco test-dev上霸榜且知名度较广的目标检测网络。具体详情可参考相关论文或者代码。 Swim Transformer V
DN-DETR 论文精度，并解析其模型结构 & 2022年CVPR论文
Flying Bulldog 的博客
07-27 2950
DN-DETR通过分析DETR收敛速度慢的其中一个原因是因为二分图匹配的不稳定性，从而提出通过去噪方法来稳定匹配，加速模型的收敛。本文提出了一种新的去噪训练方法来加速DETR(DEtectionTRansformer)训练，并加深了对DETR类方法收敛速度慢问题的理解。我们表明，缓慢的收敛是由于二分图匹配的不稳定性导致在早期训练阶段优化目标不一致。为了解决这个问题，除了匈牙利损失外，我们的方法还将带有噪声的真实边界框输入到Transformer解码器中，并训练模型来重建原始框，...
CVPR 2022 | 即插即用！南洋理工&商汤开源SAM-DETR: 利用语义对齐匹配实现快速收敛的DETR...
阿木寺的博客
04-01 1323
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：轻尘一笑 |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/489839282导读：在CVPR 2022上，新加坡南洋理工大学和商汤研究院的科研团队提出了SAM-DETR —— 利用语义对齐匹配加速DETR检测器收敛。它仅引入一个简单的即插即用的模...
快读namespace
09-01
快读namespace可以理解为快速了解命名空间的意思。在当前广泛使用的编程语言中，命名空间是一种非常常见的概念，如C++中的命名空间、Python中的模块和包、Java中的包等。通过快速了解命名空间，我们可以更好地进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值