[Object Detection]DETR - DeFormable - DINO

最新推荐文章于 2024-10-07 20:44:14 发布
最新推荐文章于 2024-10-07 20:44:14 发布
阅读量941 收藏 13
点赞数 23
文章标签： 目标检测 人工智能 计算机视觉 论文阅读 深度学习 python transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45863274/article/details/141819696
版权

1. BaseInfo

TitleEnd-to-End Object Detection with Transformers
Adresshttps://arxiv.org/pdf/2005.12872
Journal/TimeECCV2020
AuthorFacebook
Codehttps://github.com/facebookresearch/detr
TitleDeformable DETR: Deformable Transformers for End-to-End Object Detection
Adresshttps://arxiv.org/pdf/2010.04159
Journal/Time2020
Author商汤、中科大、港中文
Codehttps://github.com/fundamentalvision/Deformable-DETR
TitleDINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
Adresshttps://arxiv.org/pdf/2203.03605
Journal/TimeICLR 2023
Author港科大、清华
Codehttps://github.com/fundamentalvision/Deformable-DETR

2. Creative Q&A

3. Concrete

3.1. DETR ： 端到端网络，小目标检测差

CNN 提取特征，input embedding+positional encoding 操作转换为图像序列。
预测阶段：生成 100 个预测框，利用匈牙利算法做匹配，计算 loss。
测试阶段：在生成的预测框中筛选类别置信度大于 0.7 的。
object queries 是可学习的。只用了最后一个特征图。
在标准的 Transformer 中位置编码只加在 Input 上，这里的位置编码加在 k 和 q 上。
分类 loss 使用 CE；对成功匹配的采用 L1 和 giou。

在这里插入图片描述

3.2. Deformable DETR

  1. 可变形卷积：相比普通卷积多了一个偏移量。
  2. 多尺度策略，只和周围的部分像素做注意力。
  3. Deformable Attention、MSDeformAttention

在这里插入图片描述

3.3. DINO

  1. 收敛快 ： 对比去噪训练
  2. 混合查询选择。
  3. Look Forward Twice
    在这里插入图片描述

3.3. DataSets

COCO 2017
COCO

3.4. Eval

AP、AP50、AP75、AP_s、AP_m、AP_l

4. Reference

DETR ｜ 1、算法概述
DETR-CSDN
Deformable-CSDN
Deformable DETR-zhihu
DINO

5. Additional

Xy-unu
关注
【NIPS2023】Rank-DETR for High Quality Object Detection
github_72654535的博客
07-20 915
首次提出基于排序思想的Rank-DETR，致力于改进高IoU情况下（例如AP@75）的检测性能，在Transformer中引入排序相关的网络层、排序导向的损失函数和匈牙利匹配损失。在COCO数据集上的性能高于DINO、Align-DETR、GroupDETR等baseline，与Stable-DINO、MS-DETR、Salience-DETR相当，弱于DDQ-DETR、Co-DETR、Relation-DETR等SOTA方法。
【论文阅读】DETRs Beat YOLOs on Real-time Object Detection
qq_42591591的博客
09-07 1257
YOLO系列由于在速度和准确性之间的合理权衡，已成为最受欢迎的实时目标检测框架。然而，我们观察到YOLO的速度和准确性受到NMS的负面影响。最近，基于端到端Transformer的检测器（DETRs）为消除NMS提供了一种替代方案。尽管如此，高计算成本限制了它们的实用性，并阻碍了它们充分发挥排除NMS的优势。在本文中，我们提出了实时检测Transformer（RT - DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。
DQ-DETR: DETR WITH DYNAMIC QUERY FOR TINY OBJECTDETECTION 学习笔记
athrunsunny的博客
04-20 1750
此DQ-DETR与提出的同名，其主要集中于小目标的检测尽管之前的类似DETR的方法在通用目标检测中取得了成功，但在小目标检测方面仍然具有挑战性，因为目标 Query 的位置信息并未针对检测小物体进行定制，这些小物体的尺寸比一般物体小得多。此外，类似DETR的方法使用固定数量的 Query ，这使得它们不适用于只包含小物体的航空数据集，且不同图像之间的实例数量不平衡。
Semi-DETR: Semi-Supervised Object Detection with Detection Transformers阅读笔记
2301_78698967的博客
04-03 2483
对基于DETR的半监督目标检测(SSOD)框架进行了分析，发现:(1)当伪真值边界盒不准确时，一对一分配策略会产生不正确的匹配，导致训练效率低下;(2)基于der的检测器在输入查询和预测输出之间缺乏确定性对应关系，这阻碍了当前SSOD方法中广泛使用的基于一致性的正则化的适用性。我们提出了Semi-DETR，第一个基于变压器的端到端半监督对象检测器，来解决这些问题。
DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection论文笔记
最新发布
Zssss12的博客
10-07 1113
我们提出了DINO (DETR with improved deNoising anchOr box)，这是一种最先进的端到端对象检测器。DINO通过使用对比方法进行去噪训练、使用混合query选择方法进行anchor初始化，和两次前向的box预测方案，提高了以前类似DETR的模型性能和效率。DINO在COCO上使用ResNet-50骨干网和多尺度特征在12个epoch后达到了49.4AP在24个epoch达到了51.3AP，比之前的最佳类DETR模型DN-DETR分别提高了+6.0AP和+2.7AP。
【多模态】7、DINO | 针对 DETR-like 检测器的提升
呆呆的猫的博客
06-05 1151
本文主要介绍 DINO
DETR系列文章之–DINO
weixin_43731232的博客
05-21 921
论文下载源码下载csdn解读DAB让我们意识到query的重要性，那么如何学到更好的或者初始化更好的query？DAB-DETR是在思考DETR query理解的问题。它直接把DETR的positional query显示地建模为四维的框(x,y,w,h)，同时每一层decoder中都会去预测相对偏移量并去更新检测框，得到一个更加精确的检测框预测，动态更新这个检测框并用它来帮助decoder cross-attention来抽取feature。DN引入了去噪训练来稳定标签分配，如何进一步优化标签分配？
RT-DETR:DETRs Beat YOLOs on Real-time Object Detection (CVPR2024)
qq_40734883的博客
07-29 1348
文中提出了第一个实时端到端对象检测器RT-DETR。通过借鉴高级DETR，分两步构建RT-DETR：首先专注于在不牺牲准确性的同时提高速度，然后在不牺牲速度的同时提高准确性。具体来说，设计了**一个高效的混合编码器**，通过分离同一尺度上的相互作用和跨尺度融合，以加快多尺度特征的处理速度。然后，提出了**不确定性最小化的查询选择**，为解码器提供高质量的初始查询，从而提高了准确性。此外，RT-DETR支持通过调整解码器层数来适应各种场景的灵活速度调整，而无需重新训练。
【RT-DETR】《DETRs Beat YOLOs on Real-time Object Detection》译读笔记
墨门
04-20 670
DETRs Beat YOLOs on Real-time Object Detection 摘要
【目标检测】《DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection》论文阅读笔记
热门推荐
聿默的博客
03-09 1万+
论文地址：https://arxiv.org/pdf/2203.03605v1.pdf
百度提出的RT-DETR：DETRs Beat YOLOs on Real-time Object Detection目标检测论文翻译
guanshanjushi2的专栏
04-25 1391
最近，基于端到端Transformer的检测器（DETRs）已经取得了显著的性能。然而，DETRs的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制（NMS）。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了一个端到端速度基准。为避免NMS引起的推理延迟，我们提出了Real-Time DEtection TRansformer（RT-DETR），这是我们所知道的第一个实时端到端物体检测器。
OW-DETR: Open-world Detection Transformer（论文解析）
qq_22583741的博客
05-31 2338
开放世界对象检测（OWOD）是一个具有挑战性的计算机视觉问题，其中的任务是检测一组已知的对象类别，同时识别未知对象。此外，模型必须逐步学习在下一个训练片段中变得已知的新类。与标准目标检测不同，OWOD设置对在潜在未知对象上生成高质量候选框、将未知对象与背景分离以及检测各种未知对象提出了重大挑战。在这里，我们介绍了一种新的端到端的基于transformer的框架，OW-DETR，为于开放世界的目标检测。OW-DETR包括三个专用组件，即，注意力驱动的伪标签，新类分类和对象评分，以明确地解决上述OWOD的挑战。
A survey of self-supervised and few-shot object detection论文整理
qq_41064487的博客
04-04 4151
文章目录文章思路个人理解 文章思路 大致理解一下之后再翻译 简介 直到最近，标准FSOD的过程都是先在ImageNet上预训练一个backbone，再用base数据集在backbone基础上训练一个object detector，最终在novel class上微调。然而，随着自监督表征学习的发展，许多目标检测的方法逐渐用无监督代理任务学出来的参数初始化自己的backbone。 典型预训练自监督算法的问题在于它们出发点是分类任务，目标是最大化ImageNet数据集的Top-1表现。但是分类任务中丢弃的一些
《DETRs Beat YOLOs on Real-time Object Detection》将DETR加速至实时SOTA
blanokvaffy的博客
04-18 1427
最近看到百度写的一篇还算不错的DETR论文，通过简化DINO的encoder层将模型加速到实时水平，翻译了下，以作记录。
百度 RT-DETR 算法原理解析 | 超越YOLO的目标检测新高度？
YOLOv8项目贡献者
09-22 9651
详解百度RT-DETR
DETR系列文章之–Grounding DINO
weixin_43731232的博客
04-12 1125
Grounding DINO，一种开集目标检测方案，基于Transformer的检测器DINO与GT预测相结合。双encoder单decoder。论文下载代码下载CSDN解说双encoder单decoder，开集目标检测方案。支持文本的目标检测（实现方式：将language信息引入到目标的通用特征中）实现从close-set到open-set的创新（实现关键：引入text encode)
【YOLOv8改进[Head检测头]】YOLOv8换个RT-DETR head助力模型更优秀
静谧、淡雅
04-23 2187
YOLOv8换个RT-DETR head助力模型更优秀
【YOLOv8改进 - 检测头】 RT-DETR检测头，解决传统目标检测器中非极大值抑制（NMS）所带来的速度和准确性之间的平衡问题
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-02 669
YOLO 系列因其在速度和准确性之间的合理平衡，已成为实时目标检测中最受欢迎的框架。然而，我们观察到 YOLO 的速度和准确性受到非极大值抑制（NMS）的负面影响。最近，基于 Transformer 的端到端检测器（DETRs）提供了一种替代方案来消除 NMS。然而，高计算成本限制了它们的实用性，并阻碍了它们充分利用不使用 NMS 的优势。在本文中，我们提出了实时检测 Transformer（RT-DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值