DETR学习笔记

最新推荐文章于 2025-03-10 16:34:18 发布
最新推荐文章于 2025-03-10 16:34:18 发布
阅读量3.3k 收藏 10
点赞数
分类专栏： 目标检测 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41439608/article/details/118053611
版权
DETR是一种创新的目标检测框架，它摒弃了传统的回归和分类处理大量提案与anchor的方法，转而采用端到端的集合预测方式。通过Transformer的encoder-decoder结构，结合二分图匹配损失函数，实现直接预测目标集合，无需NMS后处理。实验表明，DETR在大型目标检测上表现出色，但在小目标检测上还有提升空间。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DETR学习笔记

1.问题

目前的检测方法不是直接预测一个目标的集合，而是使用替代的回归和分类去处理大量的proposals以及anchors。模型的效果会受到一系列问题的影响：后处理去消除大量重叠的预测、anchor的设计、如何把target box与anchor关联起来等问题。

2.解决方案

简化上述流程，将目标检测视为集合预测的方式，好处是训练与预测变成真正的端到端，无需NMS的后处理，十分方便。同时，也不用人为地预设anchor。

3.创新点

a.Set-based的全局loss，使用二分图匹配生成唯一的预测(预测框到ground-truth的匹配)
b.基于encoder-decoder结构的Transformer( 可以显示对序列中的元素进行两两关系的建模，可以在一定程度上缓解生成重复框的限制，也可以满足集合预测的要求)

4.Transformer结构

在这里插入图片描述
dert中的transformer不再使用自回归，而是使用并行直接的预测即直接预测出序列上所有对象的分类和 位置信息

5.二分图匹配方法在这里插入图片描述

图中CNN代表图像特征编码的backbone，transformer的后面的输出就是最终预测的结果集合，假设固定为5个预测结果也就是说网络的输出就是5×4(框中心坐标与对应原图的长宽比例)和5×(C+1)两个tensor，分别对应框的预测和类别的预测,C表示总共的类别数，+1是背景类。
DERT在一次解码的过程中，会推断出固定大小的N个预测集，其中N被设置为显著大于图像中对象的数量。

二分图匹配方法的具体做法:
a.首先对标签集合中padding加入no object,使得预测集与标签集数量一致
b.学习参数使得预测集合与GT之间的loss最小，如下式(1)所示，这个公式的求解使用的是Hungarian算法，同时考虑类别损失，框回归损失，与交并比损失，定义了最终的损失函数如下式(2)所示:
在这里插入图片描述

6.DETR结构在这里插入图片描述

具体步骤:
a.利用CNN提取图像特征，backbone可以使用主流的图像编码网络例如ResNet50等
b.编码-解码的transformer，encoder中带有position encoding，decoder中输入了object queries（随机向量，其个数决定了输出个数）
c.用来预测最终目标的前馈网络FFN，一个简单的三层前馈网络

tips:
a.encoder中输入的序列是channel维度的feature map
b.decoder输入object queries是N个向量，这N个向量是随机初始化然后训练得到的。每一个object query都学到了一些东西，右图显示了一些object query在做什么，比如第一行第一个就是在询问左下角有什么物体，第一行左数第二个就是在询问中间靠下的地方有什么。

在这里插入图片描述

7.实验结果

coco2017目标检测数据集
在这里插入图片描述
不同层数transformer-encoder的影响
在这里插入图片描述
transformer-encoder的热图
在这里插入图片描述
decoder输出结果NMS极大值抑制的影响
在这里插入图片描述
decoder attention的热图
在这里插入图片描述
loss对检测结果的影响
在这里插入图片描述

8、总结

a.基于Transformer的端到端目标检测框架
b.二分图匹配损失，用于直接set prediction
c.将DETR与Faster R-CNN基线方法进行了对比，结果发现DETR在大型目标上的检测性能要优于Faster R-CNN，但在小目标的检测上性能不如后者，这为今后DETR的改进提供了新的方向。

DETR (Detection with Transformer)
sdw8855的博客
03-11 976
DETR (Detection with Transformer)是2020年FAIR團隊發表於ECCV的論文 (Oral)。 End-to-end Object Detection with Transformers(DETR) 的理解。DETR是一个令人非常兴奋的目标检测模型，它在思路上完全不同于现有的state-of-art的那些目标检测模型，让人对目标检测这个任务重新思考。一句话概括一下，DETR就是一个不用nms，不用anchor，流程非常简洁明了，且基于transformer...
DETR 学习笔记
热门推荐
jacke121的专栏
05-29 2万+
DETR简介 End-to-End Object Detection with Transformers Facebook AI 的研究者推出了Transformer 的视觉版本——Detection Transformer（DETR），用于目标检测和全景分割。与之前的目标检测系统相比，DETR 的架构进行了根本上的改变。这是第一个将 Transformer 成功整合为检测 pipeline 中心构建块的目标检测框架。 DETR 将目标检测任务视为一种图像到集合（image-to-set）的问..
DETR精读笔记
weixin_44966641的博客
08-27 2296
DETR精读笔记
深度学习目标检测新范式：DETR系列模型的简单概述
最新发布
2301_80344847的博客
03-10 724
DETR系列模型通过不断迭代，从最初的端到端检测框架发展为涵盖实时、轻量、高精度的完整体系。未来，随着基础模型能力的提升，DETR有望在自动驾驶、机器人感知等领域实现更广泛的应用。
DETR
f9547064141的博客
12-09 344
End-to-End Object Detection with Transformers 论文地址：https://arxiv.org/pdf/2005.12872.pdf 前面部分比较好理解，CNN提取特征送入transformer，输出n个box prediction，n代表了模型可以检测出物体最大的数目，是人为设定的。其中box包括了（类别，坐标） 如何拜托NMS这种后处理呢，就是应用了二分匹配的原理。让预测出来n个box匹配实际的K个box，此时的n和K可能是不对等的，这样在匹配时就限制了n个
【DETR】
天风的人工智能博客
09-26 593
论文代码DETR（Data-efficient Image Transformer）是一种用于目标检测任务的深度学习模型。它与传统的目标检测方法不同，采用了Transformer架构，将目标检测问题转化为一个序列到序列的问题。以下是DETR模型的一些关键特点：Transformer架构： DETR采用了Transformer架构，这是一种用于自然语言处理的架构，但在DETR中被用于图像处理。这种架构允许模型同时处理整个图像，而不是传统的滑动窗口或区域提议方法。
【论文】DETR
Aries_young的博客
10-02 3099
Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko. End-to-End Object Detection with Transformers. （pdf） 什么是 DETR ？ DETR 是第一个提出基于 Transformer 的端到端目标检测，没有了 NMS、anchor 等等操作，其效果和 Faster RCNN 相当（在大物体上超过了 .
计算机视觉目标检测——DETR(End-to-End Object Detection with Transformers)
weixin_51454889的博客
12-22 2105
本周主要学习了DETR（End-to-End Object Detection with Transformers）目标检测算法及其相关内容。DETR通过引入Transformer，将目标检测任务视为集合预测问题，首次实现了端到端的目标检测，无需NMS后处理和anchor设计（相较于YOLO），显著简化了模型训练和部署流程。论文的核心贡献包括设计了基于二分图匹配的目标函数，确保输出的独特性，并通过Transformer的encoder-decoder架构实现了高效的目标检测。
【详细版】DETR网络学习笔记（2020 ECCV）
朴实无华的研究生活
02-09 1710
本文提出了一种新的目标检测方法DETR（Detection Transformer），它将目标检测视为直接集合预测问题。DETR采用了一种端到端的模型，通过结合基于集合的全局损失函数和Transformer编码器-解码器架构，直接并行输出最终的预测结果。与传统方法相比，DETR简化了检测流程，去除了许多手工设计的组件，如非极大值抑制或锚点生成。实验表明，在COCO数据集上，DETR的表现与Faster R-CNN相当，并且在大物体检测上表现更优。
机器学习笔记 - 使用DETR进行目标检测
学以致用 知行合一
04-06 4416
Transformers 是一种深度学习架构，近年来越来越受欢迎。它们依赖于一种称为注意力的简单而强大的机制，它使人工智能模型能够有选择地关注其输入的某些部分，从而更有效地推理。 我们正在发布检测变压器 (DETR)，一种重要的目标检测和全景分割新方法。与以前的对象检测系统相比，DETR 完全改变了架构。它是第一个成功地将 Transformer 集成为检测管道中的核心构建块的对象检测框架。 DETR 与最先进的方法的性能相匹配，例如在具有挑战性的 COCO 对象检测数据集上完善且高度优化......
学习笔记：RT-DETR训练自己的数据集(Pytorch)
x_rain_jay的博客
07-03 2440
简单按照参考文章1下载代码并尝试运行流程：前面与其保持一致，在第二步选择了自制数据集，因此在第三步有所不同，具体为我复制生成了一个新的yml文件，将其中的类别数改为自制数据集中的类别数（暂时未+1，detr中是需要＋1的，后续有改动会补充）至参考文章1的步骤三时，由于我使用的是自制的数据集，所以需要修改rtdetr_r18vd_6x_coco.yml路径。2.配置文件中的路径最好是绝对路径，因为这个官方代码的层级还是蛮多的，容易把人绕晕。将图片中的第一行中的路径修改正确即可。在运行后，遇到报错如下。
DETR:使用变压器进行端到端物体检测-开源
08-07
PyTorch 训练代码和 DETR（检测转换器）的预训练模型。 我们用 Transformer 替换了完全复杂的手工对象检测管道，并将 Faster R-CNN 与 ResNet-50 匹配，使用一半的计算能力 (FLOP) 和相同数量的参数在 COCO 上获得 42 个 AP。 50 行 PyTorch 中的推理。 这是什么。 与传统的计算机视觉技术不同，DETR 将目标检测作为直接集预测问题来处理。 它由一个基于集合的全局损失和一个 Transformer 编码器-解码器架构组成，它通过二分匹配强制进行独特的预测。 给定一组固定的学习对象查询集，DETR 会推理对象和全局图像上下文的关系，以直接并行输出最终的预测集。 由于这种并行特性，DETR 非常快速和高效。
DETR- End-to-End Object Detection with Transformers 论文解析Yannic Kilcher版本
06-14
DETR- End-to-End Object Detection with Transformers (Paper Explained)，来自需要你懂得的网站视频，生肉版本。
DETR论文笔记
qq_43173239的博客
03-07 3280
End-to-End Object Detection with Transformers 论文笔记及与相关代码阅读 文章目录End-to-End Object Detection with Transformers一、论文阅读1 介绍2 相关工作2.1 Set Prediction2.2 transformer与并行译码2.3 目标检测3 DETR模型3.1 目标检测集预测损失3.2 DETR架构二、源码阅读1.引入库2.读入数据总结 一、论文阅读 摘要：提出了一种将目标检测看作直接集预测问题的新方
[论文阅读]DETR
qq_53909832的博客
12-06 1432
DETR论文阅读
目标检测新方法（DETR）
qq_20549061的博客
10-18 1万+
TOC DETR — End-to-End Object Detection with Transformers outline 摘要： 我们提出了一种将对象检测视为直接集预测问题的新方法。 我们的方法简化了检测流程，有效地消除了对许多手工设计的组件的需求，例如非最大抑制程序或锚点生成，这些组件明确编码了我们对任务的先验知识。 新框架的主要成分称为DEtection TRANSformer或DETR，是基于集合的全局损耗，它通过二分匹配和变压器编码器-解码器体系结构来强制进行唯一的预测。 给定固定的学习对
DETR简述
今天打卡Leetcode了吗
11-05 3297
引言   目标检测任务是预测感兴趣目标的bbox和类别标签集合，现代检测器不是直接预测一个目标的集合，而是通过使用回归和分类去处理大量的proposals、anchors或者window centers来替代，模型的效果会受到一系列问题的影响：比如用于处理近重复预测的后处理步骤、anchor集合的设计以及anchor与ground truth的分配策略等。为了简化检测流程，本文跳过代理任务（surrogate tasks，应该就是指回归分类之类的替代任务）直接预测输出集合，这种端到端理念在一些复杂的结构化预
DETR：End-to-End Object Detection with Transformers
weixin_50996258的博客
03-11 446
End-to-End Object Detection with Transformers摘要一、模型的整体结构二、损失函数三、实验 摘要 DETR简化了目标检测的流程，避免了许多需要手动设计的模块，比如没有proposal（Faster R-CNN），没有Anchor（YOLO），没有center(CenterNet)，也没有繁琐的NMS，根据目标和全局图像信息的关系，直接预测输出检测框和分类。在COCO数据集上，DETR的准确性和检测速度性能与Faster R-CNN相当。而且，DETR可以很容易地.
DETR : End-to-End Object Detection with Transformers
学无止境
07-10 1127
通过 CNN 提取目标特征，使用 1x1 卷积降维， 随后把特征转换为序列输入到 Transformer Encoder 中，使用学习的 N 个 object query 和 Encoder 的输出作为 Transformer Decoder 的输入得到 N 解码结果，然后把这 N 个解码结果通过前馈网络直接得到相对坐标的预测以及类别。
rtdetrx学习笔记
01-25
### RTDetrx 学习教程与资源 RT-Detrx 是一种基于 DETR (DEtection TRansformer) 的实时目标检测框架，旨在提高 DETR 在实际应用场景中的推理速度和效率。为了帮助理解这一复杂模型及其优化方法，以下是几个推荐的学习路径和参考资料： #### 1. 官方文档与论文 官方 GitHub 页面通常会提供详细的安装指南、使用说明以及一些基础示例代码[^2]。此外，阅读原始研究论文可以深入了解算法背后的理论依据和技术细节。 #### 2. 开源实现项目 许多开发者会在个人博客或技术社区分享自己对于 RT-Detrx 的理解和实践心得。这些开源项目的 README 文件往往包含了丰富的背景介绍、环境配置指导及常见问题解答等内容[^3]。 #### 3. 教程视频课程 在线教育平台如 Bilibili 或 YouTube 上可能存在由专家录制的教学系列，通过直观的方式讲解如何构建并训练自己的 RT-Detrx 模型。这类多媒体形式有助于更快速地掌握知识点[^4]。 #### 4. 技术论坛交流讨论 加入 Reddit、Stack Overflow 等国际知名的技术问答网站上的机器视觉板块，参与话题讨论可以获得来自全球同行的第一手经验反馈；同时也可以向他人请教遇到的具体难题[^5]。 ```python import torch from rt_detrx import build_model, get_args_parser def main(): args = get_args_parser().parse_args() model, criterion, postprocessors = build_model(args) if __name__ == '__main__': main() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值