2024-02-21 学习笔记（DETR）

已于 2024-02-21 16:53:22 修改
阅读量320 收藏
点赞数 3
文章标签： 学习 笔记 人工智能
于 2024-02-21 16:53:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19986067/article/details/136215802
版权
文章讲述了作者在自动多模态检测遇到问题后，转向DETR方法进行研究。作者分析了DETR的发展历程，特别是在特定场景下的验证过程，并推荐了《目标检测大杂烩》中对RT-DETR的深入讲解，展示了深入浅出的阐述方式。
摘要由CSDN通过智能技术生成

自动多模态检测验证效果不佳（过检太多）后，节后开始尝试DETR路线。

基本梳理了下DETR发展和验证的脉络，先进行相应指定场景的效果验证。

关于DETR系列的介绍，B站上比较多，迪哥的都讲的比较细。

推荐大佬的文章：《目标检测大杂烩》-第14章-浅析RT-DETR - 知乎

看了大佬的文章才知道什么叫深入简出！

一个中年程序员的自我修养
关注
2024年运维最新深度学习之目标检测（十一）--DETR详解
2401_83947398的博客
05-01 704
ci​=ϕ 的类别损失，将分类损失除了 10，降低其作用，因为正负样本不均衡。目标边界框回归损失则是 IOU 损失和 L1 损失的加权和，其中 IOU 损失对于 Scale 不敏感，L1 损失对于 Scale 敏感。首先是对于那些不是背景的，获得其对应的预测是目标类别的概率，然后用框损失减去预测类别概率。经过匈牙利算法之后，我们就得到了 ground truth 和预测目标框之间的一一对应关系。损失函数和匹配损失不同之处在于，损失函数需要是正值，所以使用了 log-probability。
RT-DETR的学习笔记
墨门
04-19 4602
1. 复现训练流程 RT-DETR原文使用的设备
详细的RT-DETR学习笔记
qq_60199131的博客
04-18 1721
针对DETR的高计算成本问题，设计了一种高效的混合编码器，通过解耦尺度内交互和跨尺度融合来高效处理多尺度特征，并提出了IoU感知的查询选择，以提高目标查询的初始化。
CO-DETR论文学习笔记
weixin_74326343的博客
11-18 756
这里，输出的proposal用ROI池化的话，就让大的ROI对应后面的map，C5；小的对应前面的C4；而在多尺度下，即运用前面提到的FPN生成多尺度特征图然后作为不同的RPN head，此时得到的featuremap已经是多尺度的了，所以不需要多尺度的anchor，只需要不同高宽比的anchor，所以一共只需要15个anchor。这里要注意，用的是单个特征图进行上采样&下采样直接生成金字塔（在VitDet中有提到，FPN其实是不必要的），这里放一下原论文的三个生成特征金字塔的对比吧，采用的就是c啦，
DN-DETR代码学习笔记
athrunsunny的博客
05-29 1718
论文地址：DN-DETR是在DAB-DETR的基础上完成的，DN-DETR的作者认为导致DETR类模型收敛慢的原因在于匈牙利匹配所导致的二意性，即匈牙利算法匹配的离散性和模型训练的随机性，导致ground-truth的匹配变成了一个动态的、不稳定的过程。举个例子，在epoch=8時，1号预测框与2号真实框匹配，但到了epoch=9時，5号预测框与2号真实框相匹配。
DAB-DETR代码学习笔记
athrunsunny的博客
05-23 1849
先上一张整体架构图 ：论文地址：文章全名《DYNAMIC ANCHOR BOXES ARE BETTER QUERIES FOR DETR》，文中提到使用box坐标不仅有助于使用显式位置先验来提高query-to-feature的相似性，消除DETR中训练收敛缓慢的问题，而且还允许我们使用框宽度和高度信息来调整位置注意力图。
Deformable-DETR代码学习笔记
athrunsunny的博客
05-14 2020
其中的大部分内容都是通用的，唯一的区别在于backbone中resnet输出的feature map，DETR输出的是[N,2048,H,W]维的tensor，而Deformable-DETR输出resnet最后三层的feature map，channel的维度分别为512，1024，2048，尺度分别除以8，16，32。Deformable-DETR代码基本沿用了DETR的工程，主要改了transformer部分的代码，输入的图像经过backbone以及数据进入encoder之前的部分内容可以参看。
RT-DETR学习笔记
weixin_52498332的博客
09-01 101
文章主要针对的是在yolo后处理中的nms进行改进，nms，即非极大值抑制，其是在获得很多anchor后，对其进行筛选的一个方法，该方法也非常的需要算力，其执行事件主要取决于预测出的bbox数量，类别置信度阈值以及IOU的阈值，前者刨除低置信度得到预测框，后者则刨除针对同一物体的多个预测框中的较低得分者。
DQ-DETR: DETR WITH DYNAMIC QUERY FOR TINY OBJECTDETECTION 学习笔记
athrunsunny的博客
04-20 1363
此DQ-DETR与提出的同名，其主要集中于小目标的检测尽管之前的类似DETR的方法在通用目标检测中取得了成功，但在小目标检测方面仍然具有挑战性，因为目标 Query 的位置信息并未针对检测小物体进行定制，这些小物体的尺寸比一般物体小得多。此外，类似DETR的方法使用固定数量的 Query ，这使得它们不适用于只包含小物体的航空数据集，且不同图像之间的实例数量不平衡。
详解RT-DETR网络结构/数据集获取/环境搭建/训练/推理/验证/导出/部署
热门推荐
Snu77的博客
11-27 2万+
本文给大家带来是利用RT-DETR模训练自己的数据集，RT-DETR是一种新提出的目标检测模型，它利用的自注意力机制来处理图像数据。不同于YOLO通过连续的卷积层直接对图像区域进行分析，RT-DETR采用Transformer架构中的自注意力机制，这允许模型更有效地理解图像中不同部分之间的关系。这种方法使得RT-DETR在处理图像中的复杂场景和多对象环境时，能够展现出更高的准确性和效率。此外，RT-DETR在保持高精度的同时，也针对实时处理进行了优化，使其适合需要快速响应的应用场景。
OW-DETR | 基于 Transformer 的开放世界目标检测器
极智视界
09-20 3190
大家好，我是极智视界，本文解读一下 基于 Transformer 的开放世界目标检测器 OW-DETR。
机器学习笔记 - 使用DETR进行目标检测
学以致用 知行合一
04-06 4145
Transformers 是一种深度学习架构，近年来越来越受欢迎。它们依赖于一种称为注意力的简单而强大的机制，它使人工智能模型能够有选择地关注其输入的某些部分，从而更有效地推理。 我们正在发布检测变压器 (DETR)，一种重要的目标检测和全景分割新方法。与以前的对象检测系统相比，DETR 完全改变了架构。它是第一个成功地将 Transformer 集成为检测管道中的核心构建块的对象检测框架。 DETR 与最先进的方法的性能相匹配，例如在具有挑战性的 COCO 对象检测数据集上完善且高度优化......
课程十学习笔记: 目标检测DETR-1
Wangzx的博客
12-08 174
课程十学习笔记: 目标检测DETR-1目标检测： 目标检测： Anchor Based Detection : Faster R-CNN, SSD, YOLO Anchor Free Detection : FCOS, RepPoints, 模型
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
Snu77的博客
01-29 1万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
shader 案例学习笔记之将坐标系分成4个象限
localhost
09-13 242
坐标系被分成了4个单元格，每个单元格都有唯一的索引，后续就可以根据索引去渲染。
UEFI学习笔记（五）：EDK II PCD的概念、类型、使用
qq_44189622的博客
09-11 866
如果在BIOS里面有一些模块是binary方式集成进来的而这些binary又需要用到PCD（用于Binary Release），那么这些Binary集成的要用到的PCD就必须要设置为。PCD的值存在memory里面，下次启动时，上次更改的值丢失了，每次启动都是从default值开始。是存在VPD空间的（在FLASH上，只读），一般是出厂配置。如果platform是从源码build出来的，没有binary在里面的时候，PCD用的都是。作用域在一个模块中（模块级的），可以在Binary Level进行修改。
Spring Framework 学习总结博客
2302_80084329的博客
09-13 1049
通过本文的学习，我们从Spring的核心架构入手，逐步理解了IoC和DI的概念，并通过代码示例掌握了如何在实际项目中使用这些技术。Spring通过IoC容器管理bean，依赖注入将bean之间的关系解耦，大大简化了复杂系统的开发过程。这些基本的Spring知识是理解其高级特性（如AOP、事务管理）的基础，掌握这些概念后，我们可以更加自如地使用Spring构建复杂的企业级应用。
网络工程师学习笔记——网络互连与互联网
最新发布
2301_77279557的博客
09-14 814
网络互连相关技术
Align-DETR
08-27
Align-DETR是一种基于Transformer架构的检测模型，它是在 DETR (Detected Transformers) 的基础上发展而来的。DETR是一个端到端的对象检测模型，它不需要复杂的区域提议生成步骤，而是直接预测每个物体的位置和类别。Align-DETR改进了DETR的一个关键点——注意力机制。 传统的DETR使用的是全自注意力机制，这可能导致模型对长距离依赖处理不佳，特别是在图像中物体位置密集的情况下。Align-DETR引入了一种叫做“Swin Transformer”的局部注意力模块，将图像划分为固定大小的窗口，并只在相邻窗口之间计算注意力，这有助于减少计算量并提高定位精度。这种设计被称为“局部关联”（Local Attention），使得模型能够更精确地聚焦于目标区域。 简而言之，Align-DETR通过结合Swin Transformer的优势，提升了对象检测任务中的性能，尤其是在面对复杂场景时，如密集物体和小目标识别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值