DETR学习笔记

最新推荐文章于 2024-07-18 11:27:47 发布
最新推荐文章于 2024-07-18 11:27:47 发布
阅读量2.8k 收藏 10
点赞数
分类专栏： 目标检测 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41439608/article/details/118053611
版权
DETR是一种创新的目标检测框架，它摒弃了传统的回归和分类处理大量提案与anchor的方法，转而采用端到端的集合预测方式。通过Transformer的encoder-decoder结构，结合二分图匹配损失函数，实现直接预测目标集合，无需NMS后处理。实验表明，DETR在大型目标检测上表现出色，但在小目标检测上还有提升空间。
摘要由CSDN通过智能技术生成

DETR学习笔记

1.问题

目前的检测方法不是直接预测一个目标的集合，而是使用替代的回归和分类去处理大量的proposals以及anchors。模型的效果会受到一系列问题的影响：后处理去消除大量重叠的预测、anchor的设计、如何把target box与anchor关联起来等问题。

2.解决方案

简化上述流程，将目标检测视为集合预测的方式，好处是训练与预测变成真正的端到端，无需NMS的后处理，十分方便。同时，也不用人为地预设anchor。

3.创新点

a.Set-based的全局loss，使用二分图匹配生成唯一的预测(预测框到ground-truth的匹配)
b.基于encoder-decoder结构的Transformer( 可以显示对序列中的元素进行两两关系的建模，可以在一定程度上缓解生成重复框的限制，也可以满足集合预测的要求)

4.Transformer结构

在这里插入图片描述
dert中的transformer不再使用自回归，而是使用并行直接的预测即直接预测出序列上所有对象的分类和 位置信息

5.二分图匹配方法在这里插入图片描述

图中CNN代表图像特征编码的backbone，transformer的后面的输出就是最终预测的结果集合，假设固定为5个预测结果也就是说网络的输出就是5×4(框中心坐标与对应原图的长宽比例)和5×(C+1)两个tensor，分别对应框的预测和类别的预测,C表示总共的类别数，+1是背景类。
DERT在一次解码的过程中，会推断出固定大小的N个预测集，其中N被设置为显著大于图像中对象的数量。

二分图匹配方法的具体做法:
a.首先对标签集合中padding加入no object,使得预测集与标签集数量一致
b.学习参数使得预测集合与GT之间的loss最小，如下式(1)所示，这个公式的求解使用的是Hungarian算法，同时考虑类别损失，框回归损失，与交并比损失，定义了最终的损失函数如下式(2)所示:
在这里插入图片描述

6.DETR结构在这里插入图片描述

具体步骤:
a.利用CNN提取图像特征，backbone可以使用主流的图像编码网络例如ResNet50等
b.编码-解码的transformer，encoder中带有position encoding，decoder中输入了object queries（随机向量，其个数决定了输出个数）
c.用来预测最终目标的前馈网络FFN，一个简单的三层前馈网络

tips:
a.encoder中输入的序列是channel维度的feature map
b.decoder输入object queries是N个向量，这N个向量是随机初始化然后训练得到的。每一个object query都学到了一些东西，右图显示了一些object query在做什么，比如第一行第一个就是在询问左下角有什么物体，第一行左数第二个就是在询问中间靠下的地方有什么。

在这里插入图片描述

7.实验结果

coco2017目标检测数据集
在这里插入图片描述
不同层数transformer-encoder的影响
在这里插入图片描述
transformer-encoder的热图
在这里插入图片描述
decoder输出结果NMS极大值抑制的影响
在这里插入图片描述
decoder attention的热图
在这里插入图片描述
loss对检测结果的影响
在这里插入图片描述

8、总结

a.基于Transformer的端到端目标检测框架
b.二分图匹配损失，用于直接set prediction
c.将DETR与Faster R-CNN基线方法进行了对比，结果发现DETR在大型目标上的检测性能要优于Faster R-CNN，但在小目标的检测上性能不如后者，这为今后DETR的改进提供了新的方向。

WaitPX
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DETR 学习笔记
jacke121的专栏
05-29 2万+
DETR简介 End-to-End Object Detection with Transformers Facebook AI 的研究者推出了Transformer 的视觉版本——Detection Transformer（DETR），用于目标检测和全景分割。与之前的目标检测系统相比，DETR 的架构进行了根本上的改变。这是第一个将 Transformer 成功整合为检测 pipeline 中心构建块的目标检测框架。 DETR 将目标检测任务视为一种图像到集合（image-to-set）的问..
DETR (Detection with Transformer)
sdw8855的博客
03-11 893
DETR (Detection with Transformer)是2020年FAIR團隊發表於ECCV的論文 (Oral)。 End-to-end Object Detection with Transformers(DETR) 的理解。DETR是一个令人非常兴奋的目标检测模型，它在思路上完全不同于现有的state-of-art的那些目标检测模型，让人对目标检测这个任务重新思考。一句话概括一下，DETR就是一个不用nms，不用anchor，流程非常简洁明了，且基于transformer...
DETR代码解读
最新发布
lishanlu136的博客
07-18 1191
DETR检测算法代码解读
DETR精读笔记
weixin_44966641的博客
08-27 2039
DETR精读笔记
DETR
f9547064141的博客
12-09 287
End-to-End Object Detection with Transformers 论文地址：https://arxiv.org/pdf/2005.12872.pdf 前面部分比较好理解，CNN提取特征送入transformer，输出n个box prediction，n代表了模型可以检测出物体最大的数目，是人为设定的。其中box包括了（类别，坐标） 如何拜托NMS这种后处理呢，就是应用了二分匹配的原理。让预测出来n个box匹配实际的K个box，此时的n和K可能是不对等的，这样在匹配时就限制了n个
DETR（DEtection TRansformer）的初步摸索
热门推荐
qq_35166730的博客
06-11 2万+
DETR是FIR提出的基于Transformers的端到端目标检测，没有NMS后处理步骤、没有anchor，结果在coco数据集上效果与Faster RCNN相当，且可以很容易地将DETR迁移到其他任务例如全景分割。 引用知乎大佬的画来说，这种做目标检测的方法更合理。 优点： 1、提出了一种目标检测新思路，真正的end-to-end，更少的先验（没有anchor、nms等）； 2、在coco上，准确率、运行效率与高度优化的faster R-CNN基本持平。在大目标上效果比faster R-CNN好。 3
【论文】DETR
Aries_young的博客
10-02 2924
Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko. End-to-End Object Detection with Transformers. （pdf） 什么是 DETR ？ DETR 是第一个提出基于 Transformer 的端到端目标检测，没有了 NMS、anchor 等等操作，其效果和 Faster RCNN 相当（在大物体上超过了 .
DETR论文笔记
qq_43173239的博客
03-07 3128
End-to-End Object Detection with Transformers 论文笔记及与相关代码阅读 文章目录End-to-End Object Detection with Transformers一、论文阅读1 介绍2 相关工作2.1 Set Prediction2.2 transformer与并行译码2.3 目标检测3 DETR模型3.1 目标检测集预测损失3.2 DETR架构二、源码阅读1.引入库2.读入数据总结 一、论文阅读 摘要：提出了一种将目标检测看作直接集预测问题的新方
DETR系列文章之–DETR
weixin_43731232的博客
03-29 817
Transformer应用于目标检测的开山之作，将目标检测转换为集合预测问题，利用匈牙利匹配进行一对一匹配预测。
机器学习笔记 - 使用DETR进行目标检测
学以致用 知行合一
04-06 4139
Transformers 是一种深度学习架构，近年来越来越受欢迎。它们依赖于一种称为注意力的简单而强大的机制，它使人工智能模型能够有选择地关注其输入的某些部分，从而更有效地推理。 我们正在发布检测变压器 (DETR)，一种重要的目标检测和全景分割新方法。与以前的对象检测系统相比，DETR 完全改变了架构。它是第一个成功地将 Transformer 集成为检测管道中的核心构建块的对象检测框架。 DETR 与最先进的方法的性能相匹配，例如在具有挑战性的 COCO 对象检测数据集上完善且高度优化......
课程十学习笔记: 目标检测DETR-1
Wangzx的博客
12-08 171
课程十学习笔记: 目标检测DETR-1目标检测： 目标检测： Anchor Based Detection : Faster R-CNN, SSD, YOLO Anchor Free Detection : FCOS, RepPoints, 模型
DETR:使用变压器进行端到端物体检测-开源
08-07
PyTorch 训练代码和 DETR（检测转换器）的预训练模型。 我们用 Transformer 替换了完全复杂的手工对象检测管道，并将 Faster R-CNN 与 ResNet-50 匹配，使用一半的计算能力 (FLOP) 和相同数量的参数在 COCO 上获得 42 个 AP。 50 行 PyTorch 中的推理。 这是什么。 与传统的计算机视觉技术不同，DETR 将目标检测作为直接集预测问题来处理。 它由一个基于集合的全局损失和一个 Transformer 编码器-解码器架构组成，它通过二分匹配强制进行独特的预测。 给定一组固定的学习对象查询集，DETR 会推理对象和全局图像上下文的关系，以直接并行输出最终的预测集。 由于这种并行特性，DETR 非常快速和高效。
DETR- End-to-End Object Detection with Transformers 论文解析Yannic Kilcher版本
06-14
DETR- End-to-End Object Detection with Transformers (Paper Explained)，来自需要你懂得的网站视频，生肉版本。
课程十一学习笔记：目标检测DETR-2
Wangzx的博客
12-08 177
课程十一：目标检测DETR-2
目标检测新方法（DETR）
qq_20549061的博客
10-18 1万+
TOC DETR — End-to-End Object Detection with Transformers outline 摘要： 我们提出了一种将对象检测视为直接集预测问题的新方法。 我们的方法简化了检测流程，有效地消除了对许多手工设计的组件的需求，例如非最大抑制程序或锚点生成，这些组件明确编码了我们对任务的先验知识。 新框架的主要成分称为DEtection TRANSformer或DETR，是基于集合的全局损耗，它通过二分匹配和变压器编码器-解码器体系结构来强制进行唯一的预测。 给定固定的学习对
DETR简述
今天打卡Leetcode了吗
11-05 3209
引言   目标检测任务是预测感兴趣目标的bbox和类别标签集合，现代检测器不是直接预测一个目标的集合，而是通过使用回归和分类去处理大量的proposals、anchors或者window centers来替代，模型的效果会受到一系列问题的影响：比如用于处理近重复预测的后处理步骤、anchor集合的设计以及anchor与ground truth的分配策略等。为了简化检测流程，本文跳过代理任务（surrogate tasks，应该就是指回归分类之类的替代任务）直接预测输出集合，这种端到端理念在一些复杂的结构化预
DETR：End-to-End Object Detection with Transformers
weixin_50996258的博客
03-11 382
End-to-End Object Detection with Transformers摘要一、模型的整体结构二、损失函数三、实验 摘要 DETR简化了目标检测的流程，避免了许多需要手动设计的模块，比如没有proposal（Faster R-CNN），没有Anchor（YOLO），没有center(CenterNet)，也没有繁琐的NMS，根据目标和全局图像信息的关系，直接预测输出检测框和分类。在COCO数据集上，DETR的准确性和检测速度性能与Faster R-CNN相当。而且，DETR可以很容易地.
DETR : End-to-End Object Detection with Transformers
学无止境
07-10 1061
通过 CNN 提取目标特征，使用 1x1 卷积降维， 随后把特征转换为序列输入到 Transformer Encoder 中，使用学习的 N 个 object query 和 Encoder 的输出作为 Transformer Decoder 的输入得到 N 解码结果，然后把这 N 个解码结果通过前馈网络直接得到相对坐标的预测以及类别。
DETR详解
Lc_001的博客
03-09 7118
DETR 将目标检测任务看作集合预测问题，对于一张图片，固定预测一定数量的物体（原作是100个，在代码中可更改），模型根据这些物体对象与图片中全局上下文的关系直接并行输出预测集，也就是 Transformer 一次性解码出图片中所有物体的预测结果，这种并行特性使得 DETR 非常高效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值