【论文横评】DETR、Deformable DETR、DINO和 Grounding DINO 横评

最新推荐文章于 2025-05-05 21:40:59 发布
最新推荐文章于 2025-05-05 21:40:59 发布
阅读量843 收藏 11
点赞数 27
分类专栏： 论文精读 文章标签： 人工智能 目标检测 多模态 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsLJQian/article/details/147161459
版权

DETR、Deformable DETR、DINO（Detection with Improved deNoising anchOr boxes）和 Grounding DINO 是基于 Transformer 的目标检测模型演进中的重要工作，四者一脉相承，逐步解决了检测任务的效率和泛化能力问题。以下是它们的共同点、差异和改进分析：

  • DETR（DEtection with TRansformers）
  • DINO（Detection with Improved deNoising anchOr boxes）

一、共同点

  1. Transformer 架构

    • 均采用 Encoder-Decoder 结构，利用自注意力机制建模全局上下文。
    • 摒弃传统检测方法中的锚框（Anchor）和非极大值抑制（NMS），实现端到端的集合预测（Set Prediction）。
    • 使用多头注意力机制处理不同尺度的特征。

  2. 集合预测与匈牙利匹配

    • 通过 二分图匹配（匈牙利算法） 直接预测目标框和类别，避免冗余预测。
    • 使用 损失函数（如 L1、GIOU、分类损失） 监督预测结果与真实标签的匹配。
    • 采用集合预测损失，实现端到端训练。

  3. Query 机制

    • 通过 可学习的位置/内容 Query 引导 Decoder 生成预测结果，逐步优化目标定位和分类。

二、差异与改进

1. DETR（2020）
  • 核心贡献：首次将 Transformer 引入目标检测，开创端到端检测范式。
  • 问题：
    • 收敛速度慢（需 500 轮训练），小目标检测性能差。
    • Query 设计简单，依赖随机初始化。
    • 计算复杂度高，训练资源需求大。
    • 对多尺度目标检测效果不佳。
  • 改进空间：为后续工作奠定基础，但效率和精度需优化。
  • 技术细节：
    • 使用固定数量的可学习查询（通常为100）
    • 简单的交叉熵损失和L1损失
    • 没有使用多尺度特征融合
    • 使用标准的Transformer注意力机制
2. Deformable DETR（2021）
  • 核心贡献：首次引入可变形注意力机制，显著提升检测效率。
  • 改进点：
    • 可变形注意力机制：只关注参考点周围的一小组关键采样点，降低计算复杂度。
    • 多尺度特征处理：通过可变形注意力处理不同尺度的特征。
    • 参考点机制：引入参考点概念，使注意力更关注目标区域。
  • 技术细节：
    • 使用稀疏采样点代替密集注意力
    • 引入参考点预测模块
    • 采用多尺度特征融合策略
    • 使用可变形卷积进行特征提取
  • 效果：
    • 训练轮数减少到50轮
    • 小目标检测性能显著提升
    • 计算效率提高约10倍
  • 应用场景：
    • 多尺度目标检测
    • 小目标检测
    • 实时检测系统
3. DINO（2022）
  • 改进点：
    • 动态去噪训练（DN-DETR 的延续）：在训练时向 Decoder 输入带噪声的 GT 框，通过去噪任务加速收敛（训练轮数减少至 50）。
    • 混合 Query 选择：从 Encoder 输出的特征中初始化 Query，提供更好的先验信息。
    • 对比去噪（Contrastive Denoising）：引入负样本 Query，提升模型对负样本的判别能力。
    • 前向两次方案：利用后期层的精炼盒信息优化早期层参数。
    • 可变形注意力机制：引入可变形注意力处理多尺度特征，提高检测效率。
  • 技术细节：
    • 使用λ1和λ2控制噪声尺度
    • 引入正负样本对比机制
    • 采用top-K特征选择策略
    • 使用可变形注意力处理多尺度特征
  • 效果：显著提升收敛速度和检测精度（COCO 上 AP 达 63.3）。
  • 应用场景：
    • 复杂场景下的目标检测
    • 小目标检测
    • 实时检测系统
4. Grounding DINO（2023）
  • 核心创新：多模态开放词汇检测，支持文本驱动的任意类别检测。
  • 改进点：
    • 文本-图像特征融合：
      • 图像特征（DINO 的 Encoder）与文本特征（BERT）通过跨模态注意力交互。
      • 使用文本作为条件生成动态检测 Query。
      • 引入语言引导的注意力机制。
    • 语言引导的预测头：将文本特征与图像特征对齐，通过对比学习实现开放词汇分类。
    • 层级融合策略：结合浅层（细节）和深层（语义）特征，提升小目标检测能力。
    • 零样本学习能力：无需微调即可检测新类别。
  • 技术细节：
    • 使用预训练语言模型（如BERT）提取文本特征
    • 设计跨模态注意力模块
    • 引入对比学习损失
    • 使用多尺度特征金字塔
  • 效果：支持零样本检测（如 COCO 零样本 AP 达 52.5），无需微调即可检测新类别。
  • 应用场景：
    • 开放词汇目标检测
    • 视觉-语言理解
    • 多模态交互系统
    • 零样本学习任务

三、演进脉络

维度DETRDeformable DETRDINOGrounding DINO
目标端到端检测高效多尺度检测高效训练与高精度多模态开放词汇检测
检测能力基础类别多尺度目标小目标、复杂场景任意文本描述的目标
Query 设计随机初始化参考点引导混合 Query（Encoder 特征初始化）文本条件动态生成 Query
多模态支持无无无支持文本-图像对齐
训练策略原始匈牙利损失可变形注意力去噪训练 + 对比去噪跨模态对比学习 + 层级特征融合
应用场景封闭类别检测多尺度检测封闭类别检测开放世界检测（文本/图像/视频）
计算效率低中高中等
泛化能力弱中强极强
创新点端到端检测可变形注意力去噪训练、混合Query多模态融合、开放词汇

四、总结

  • DETR 是奠基性工作，但存在效率瓶颈。它开创了端到端检测的新范式，但计算复杂度和训练效率问题限制了其实际应用。
  • Deformable DETR 通过引入可变形注意力机制，显著提升了检测效率和多尺度特征处理能力，为后续工作提供了重要参考。
  • DINO 通过去噪训练和 Query 优化，解决了收敛速度和精度问题。它在保持端到端优势的同时，显著提升了检测性能和训练效率。
  • Grounding DINO 引入多模态能力，将检测从封闭世界扩展到开放词汇场景，成为通用视觉-语言理解的基石。它代表了目标检测向更通用、更智能方向的发展。

四者的演进体现了目标检测从 专用模型 到 高效多尺度模型，再到 高效通用模型，最后到 多模态开放系统 的技术跃迁。这种演进不仅提升了检测性能，也扩展了检测的应用场景，为计算机视觉领域带来了新的可能性。

五、未来展望

  1. 效率优化：继续提升模型的计算效率，使其更适合实时应用。
  2. 多模态扩展：探索更多模态的融合，如音频、视频等。
  3. 零样本学习：进一步提升模型的零样本学习能力。
  4. 可解释性：增强模型的可解释性，使其更易于理解和调试。
  5. 实际应用：推动这些技术在实际场景中的应用，如自动驾驶、智能监控等。
DETR系列文章之–Grounding DINO
weixin_43731232的博客
04-12 1263
Grounding DINO，一种开集目标检测方案，基于Transformer的检测器DINO与GT预测相结合。双encoder单decoder。论文下载代码下载CSDN解说双encoder单decoder，开集目标检测方案。支持文本的目标检测（实现方式：将language信息引入到目标的通用特征中）实现从close-set到open-set的创新（实现关键：引入text encode)
【深入理解DETR】DETR的原理与算法实现
weixin_44184852的博客
02-15 6519
①端到端之前的方法都需要进行NMS操作去掉冗余的bounding box或者手工设计anchor， 这就需要了解先验知识，增加从超参数anchor的数量，
一文搞懂目标检测技术的发展历程: 从R-CNN到YOLO、DETR、DINO
SQingL的博客
10-12 4919
目标检测技术在过去的十几年中，从传统的方法逐步转变成基于深度学习驱动的方法。2012年，AlexNet在ImageNet竞赛中胜利，促进了目标检测技术的发展。目标检测领域的技术发展经历了从基于卷积神经网络（CNN）的架构到基于Transformer架构的重要转变。最初的突破来自于基于CNN的模型，如R-CNN系列（包括R-CNN、Fast R-CNN和Faster R-CNN），这些模型通过引入区域提议网络（RPNs）和端到端的训练方式，大幅提升了目标检测的准确性。
【论文阅读】DETR+Deformable DETR
最新发布
博客标题不能为空我也没办法
05-05 706
可变形注意力相关的两篇论文：DETR和Deformable DETR
DINO， Grounding DINO, DINO-X系列工作解读
leo0308的博客
03-05 1487
有2个版本的模型， 分别是Pro和Edge, Pro主打效果好， Edge版本主打高性能， 牺牲了一定的效果。把闭集检测器划分为3个阶段， 并且在3个阶段都进行了融合， 包括特征增强， 语言引导的查询选择 和交叉模态的编码器。这也是区别其他方法的地方， 其他方法一般在1-2个阶段进行融合。DINO-X 具备了基础的目标级别的表征能力， 可以支持多种目标感知和理解的任务， 比如检测， 分割， 姿态估计， 问答等等。DINO 的主要贡献是在之前的DETR系列工作上提出了3点改进， 从而提升了模型的性能和效率。
超越YOLO、DETR！最强新生代目标检测器！
gzq0723的博客
09-19 433
清华大学、IDEA研究院联合提出的Grounding DINO，采用了目标检测器DINO的Transformer架构，并借鉴了多模态GLIP的预训练方法，深度融合语言和视觉信息后，可根据文字描述检测任意目标，实现了开集检测性能的重大突破，不仅被ECCV'24成功收录，相关改进也层出不穷，甚至能结合扩散模型完成修图，正在超越DETR、YOLOs等检测系列，成为视觉或多模态极具前景的研究方向！为了帮助...
DETR（DEtection TRansformer）要点总结
上个大学哪有不疯的？硬撑罢了！
01-09 6703
DETR翻译过来就是检测transformer，是Detection Transformers的缩写。这是一个将2017年大火的transformer结构首次引入目标检测领域的模型，是transformer模型步入目标检测领域的开山之作。利用transformer结构的自注意力机制为各个目标编码，依靠其并行性，DETR构造了一个端到端的检测模型，并且避免了以往模型中各种类型的冗余操作，让目标检测问题变得更加简单。
深度学习之目标检测（十一）--DETR详解，大厂程序员35岁后的职业出路在哪
2401_83974117的博客
04-14 3669
DETR 是 Facebook 团队于 2020 年提出的基于 Transformer 的端到端目标检测，没有非极大值抑制 NMS 后处理步骤、没有 anchor 等先验知识和约束，整个由网络实现端到端的目标检测实现，大大简化了目标检测的 pipeline。其原始论文为。结果在 COCO 数据集上效果与 Faster RCNN 相当，在大目标上效果比 Faster RCNN 好，且可以很容易地将 DETR 迁移到其他任务例如全景分割。事实上，在 DETR 之前，就有几个类似思想的工作。
DETR系列：RT-DETR（一） 论文解析
热门推荐
lansebingxuan的专栏
06-26 2万+
实时目标检测(Real-Time Object Detection )过去一直由 YOLO 系列模型主导。YOLO 检测器有个较大的待改进点是需要 NMS 后处理，其通常难以优化且不够鲁棒，因此检测器的速度存在延迟。2020年DETR算法诞生，Detr是第一个基于transformer的端到端算法，没有anchor前处理和NMS后处理，但是Detr收敛慢，训练慢，推理也慢，尽管后续的优化算法不断加快收敛速度，提升推理速度，但仍然无法实现实时要求。
基于注意力机制的目标检测模型（DETR模型）原理及代码实现
m0_53414416的博客
01-12 8131
DETR（Detection Transformer）是一种端到端的目标检测模型，由Facebook AI Research（FAIR）于2020年提出。DETR采用了Transformer架构，与传统的基于区域的目标检测方法有所不同，它通过全局上下文来预测图像中的目标，而无需使用先前的候选框或区域建议网络。2 DETR模型结构本文基于 Pytorch框架构建了在VOC数据集上检测的 DETR模型（DEtection TRansformers）。
【DETR 论文解读】End-to-End Object Detection with Transformer
qq_38253797的博客
10-21 6711
DETR
【23年新文】多模态图像识别和定位—— Grounding DINO 模型的解析和使用
weixin_44483403的博客
01-19 2727
作者文中说到训练了两种backbone的版本，一个叫Grounding-DINO-T，用的是 Swin-T 作为主干，另一个是 Groungind-DINO-L, 用的是 Swin-L 主干。之后下载他们训练好的模型，这里下载的是 SwinT 作为骨干网络的版本，你也可以不在 terminal 里面下载，自己下载到本地（或者是自己上传到服务器）。模型示意图是从下到上看的，具体pipeline参考下文“训练细节”一段（注意左边到右边有淡淡的一个用来映射的色块，可以看到结构放大的细节）
Grounding DINO：根据文字提示检测任意目标
猛码Memmat
08-14 1191
Grounding DINO
多模态大模型 | GroundingDINO 论文总结
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
05-16 4812
开放集目标检测器GroundingDINO，无需训练，检测任何物体的模型，效果非常好
目标检测技术的发展：从R-CNN、YOLO到DETR、DINO
DeepAIedu的博客
09-30 1904
OV-DINO的出现标志着在开放域目标检测领域的重大进步，其在处理未见过的物体类别时的能力得到了显著提升。这项技术对于需要适应未知或变化环境的应用具有重要意义，如自动驾驶、机器人视觉、安防监控等。
【计算机视觉 | 目标检测】DETR风格的目标检测框架解读
wzk4869的博客
04-01 4260
【计算机视觉 | 目标检测】DETR风格的目标检测框架解读
DETR论文翻译与理解
慕笙的博客
09-22 1817
DETR论文翻译与理解，参考视频：李沐的AI论文精读
DINO：一种新的端到端目标检测器(速读版)
weixin_51697828的博客
08-26 3450
在本文中，我们提出了一种强大的端到端Transformer检测器DINO，借助contrastive denoising training、mixed query selection、look forward twice方法，大大提高了模型的训练效率和检测性能。我们进一步尝试在更大的数据集上用更强的骨干网络训练DINO，并在COCO 2017 test-dev数据集上达到了新的SOTA水平，63.3 AP。...
【大模型系列】根据文本检索目标(DINO/DINOv2/GroundingDINO)
kabuto_hui的博客
03-09 1万+
DINO 中最核心的数据采样策略便是图像裁剪，这也是自监督学习领域应用非常广泛的主策略之一。
DINO模型目标检测
03-03
### DINO模型的目标检测实现与使用 #### 模型概述 DINO（DEtection Transformer with Iterative Object Queries）是一个基于Transformer架构的对象检测框架，它通过迭代查询机制来逐步优化对象预测。这种设计使得DINO能够在较少的标注数据上达到较高的精度，并且具有良好的泛化能力。 #### 实现细节 为了有效地应用DINO进行目标检测，通常会采用预训练的基础模型并对其进行微调。具体来说： - **基础网络**：选用ResNet或其他更先进的骨干网作为特征提取器[^4]。 ```python import torch.nn as nn class Backbone(nn.Module): def __init__(self): super(Backbone, self).__init__() # 使用UniRepLknet或者其他适合的backbone self.backbone = UniRepLknet() def forward(self, x): return self.backbone(x) ``` - **编码解码结构**：构建编码器用于生成多尺度特征金字塔；解码器则负责处理这些特征并将它们转换成边界框和类别得分。 ```python from transformers import DetrConfig, DetrForObjectDetection config = DetrConfig.from_pretrained('facebook/detr-resnet-50') detr = DetrForObjectDetection(config=config) # 将detr中的transformer部分替换为更适合实时推理的设计 # 如extend or compound scaling methods mentioned in [^1] ``` - **损失函数配置**：定义合适的损失项以监督模型的学习过程。除了常见的交叉熵损失外，还可以加入其他辅助性的损失如Mask Loss、LPiPS Loss等[^3]。 ```python criterion = nn.CrossEntropyLoss() total_loss = mse_loss + mask_weight * mask_loss + lpips_weight * lpips_loss + dist_weight * distance_loss ``` #### 数据准备 对于输入图片，需按照特定格式调整尺寸并与标签文件配对形成Dataset实例。此外，还需要考虑如何增强数据集以便更好地适应实际应用场景的需求。 ```python from torchvision.datasets import CocoDetection import albumentations as A from albumentations.pytorch.transforms import ToTensorV2 def get_transform(): transforms = [ A.Resize(height=800, width=800), A.HorizontalFlip(p=0.5), ToTensorV2(), ] return A.Compose(transforms) dataset = CocoDetection(root='./data/coco/train2017', annFile='./annotations/instances_train2017.json', transform=get_transform()) ``` #### 训练流程 设置好超参数之后就可以启动训练循环了。期间要注意监控验证集上的表现指标变化趋势，适时保存最佳权重副本。 ```python device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device) optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4) for epoch in range(num_epochs): train_one_epoch(model, optimizer, data_loader, device, epoch, print_freq=10) coco_evaluator = evaluate(model, val_data_loader, device=device) ``` #### 推理阶段 完成训练后即可加载最优模型来进行测试或部署上线。此时只需简单修改前向传播逻辑就能得到想要的结果输出。 ```python checkpoint = torch.load('./best_model.pth') model.load_state_dict(checkpoint['state_dict']) with torch.no_grad(): predictions = model(images)[0] boxes = predictions["boxes"].tolist() scores = predictions["scores"].tolist() labels = predictions["labels"].tolist() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱多多先森

你的鼓励，是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值