【目标检测】《DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection》论文阅读笔记

已于 2022-07-17 21:34:28 修改
阅读量1w 收藏 7
点赞数 1
分类专栏： 目标检测 文章标签： 目标检测 计算机视觉 深度学习
于 2022-03-09 22:18:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35975447/article/details/123389126
版权
DINO是DETR的改进版，通过对比去噪训练、混合查询选择和两次前向预测提升目标检测性能。在COCO-testdev上达到63.3AP，成为2022年3月的最优模型。DINO减少了预训练数据需求，同时提高了模型精度和效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文地址：https://arxiv.org/pdf/2203.03605v1.pdf

代码地址：https://github.com/IDEACVR/DINO

计划：这周阅读本论文。

1.摘要

DINO是DETR with Improved deNoising anchOr boxes这几个单词的缩写，意思是提高降噪锚框的DETR。DINO通过使用对比去噪训练方法、锚初始化的混合查询选择方法和盒预测的前向两次方案，在性能和效率上改进了以前的DETR-like模型。

以Objects365数据上预训练的SwinL backbone模型基础上训练，在COCO-testdev达到63.3AP的性能。（2022/3/13性能仍为现在的第一名）下面是paper with code下面的结果。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【CVPR 2022】目标检测SOTA：DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
梁瑛平的博客
06-30 2113
本文提出了DINO（DETR with Improved deNoising anchOr boxes）使用 ResNet50 作为主干网络能够在 COCO 训练 12 轮能达到 48.3 mAP，36 轮能达到 51.0 mAP。与排行榜上的其他模型相比，DINO显著减少了模型大小和训练前的数据大小，同时取得了更好的结果。...
DINO： DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection(ICLR2023补)
qihshe的博客
01-10 2188
我们提出了DINO(带改进去噪锚盒的DETR)，一种最先进的端到端目标检测器。DINO通过使用对比方法进行去噪训练，使用混合查询选择方法进行锚点初始化，使用向前看两次方案进行框预测，在性能和效率上都比以前的类der模型有所提高
DINO:DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
wulele2的博客
01-17 1595
该篇论文在DN-DETR基础上，额外引进3个trick进一步增强DETR的性能：在12epoch下coco上达到了49.0map。本文将分别介绍这3个trick，
深度学习｜自监督学习新星：DINO 解析与实践指南
最新发布
紫雾凌寒
03-09 1298
DINO 以其优雅的设计和强大的性能，为自监督学习开辟了新方向。它的学生-教师结构、多视角增强和分布对齐策略，值得每位深度学习从业者深入研究。未来，DINO 可能与多模态学习结合，应用于更广泛的场景。
深入理解【DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection】
qq_45484627的博客
05-26 3291
DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection论文笔记
Zssss12的博客
10-07 1582
我们提出了DINO (DETR with improved deNoising anchOr box)，这是一种最先进的端到端对象检测器。DINO通过使用对比方法进行去噪训练、使用混合query选择方法进行anchor初始化，和两次前向的box预测方案，提高了以前类似DETR的模型性能和效率。DINO在COCO上使用ResNet-50骨干网和多尺度特征在12个epoch后达到了49.4AP在24个epoch达到了51.3AP，比之前的最佳类DETR模型DN-DETR分别提高了+6.0AP和+2.7AP。
【论文精度】DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
钱多多先森
02-23 719
DINO论文，一种引入DeNoising的目标检测模型，DINO系列的开端
DINO-DETR
libo-coder
06-22 978
原始的 DETR 使用全零初始化 object query，导致模型优化困难，而 Anchor DETR 采用了 anchor points 来编码形成 object query，保证每个 query 关注 points 附近的特征，相当于为 querys 提供了明确的优化方向。PnP-DETR（ICCV 2021） 改进了 DETR 计算量大的问题，利用提出的 poll and pool（PnP）采样模块在图像特征上自适应的采样不同粒度的特征，从而实现计算量和性能的折衷。
YOLOv10：实时端到端目标检测
TJMtaotao的博客，高校计算机教师
05-28 2431
在过去的几年里，YOLO因其在计算成本和检测性能之间的有效平衡而成为实时目标检测领域的主要范例。研究人员对 YOLO 的架构设计、优化目标、数据增强策略等进行了探索，取得了显着进展。然而，后处理对非极大值抑制（NMS）的依赖阻碍了 YOLO 的端到端部署，并对推理延迟产生不利影响。此外，YOLO中各个组件的设计缺乏全面彻底的检查，导致明显的计算冗余并限制了模型的能力。它提供了次优的效率，以及相当大的性能改进潜力。在这项工作中，我们的目标是从后处理和模型架构方面进一步提升 YOLO 的性能效率边界。
极市平台 | 超越YOLO11和D-FINE！DEIM：最强实时目标检测算法
csdn_xmj的博客
12-24 2301
本文介绍了一种改进的DETR目标检测框架DEIM，通过增加正样本数量和优化匹配质量的损失函数，显著加快了DETR模型的收敛速度，并在多个数据集上提升了性能，成为当前最优的实时目标检测方案。DEIM通过Dense O2O和MAL两项技术改进，解决了DETR在监督信号和匹配质量上的不足，使其在实时目标检测领域的表现超越了YOLO系列模型。
DINO 论文精度，并解析其模型结构 & DETR 的变体
热门推荐
Flying Bulldog 的博客
07-25 4万+
截止2022年7月25日，DINO是目标检测的SOTA。本人根据源码的复现感受和DINO论文的精读心得，撰写本篇博客，希望对你有所帮助。DINO(DETR with Improved deNoising anchOr boxes)，一款最先进的端到端对象检测器。对比的去噪训练方式；用于锚点初始化的混合查询选择方法；用于框预测的向前两次方案；本文章会对以上三种创新方法逐点击破。使用ResNet-50主干和多尺度特征，DINO在12个epoch获得49.4AP，在24个epoch获得51.3AP（收敛极快！）.
【论文精读】DINO
weixin_44934783的博客
02-14 1393
DINO
DINO 论文笔记
xunull的博客
03-15 2176
DINO通过使用对比方法，混合查询选择方法的anchor初始化的和盒子预测的look forward twice方案在性能和效率方面有了改进DINO使用ResNet-50 backbone以及多尺度特征，在COCO上，12个epoch达到49.4AP，24个epoch达到51.3AP 与之前最好的DN-DETR模型相比，分别显著提高了+6.0AP和+2.7APDAB和DN的结合使得类detr的模型在训练效率和推理性能方面都能与经典检测器竞争以往的类detr模型不如改进的经典检测器。
DINO论文笔记
yumiwawa19960506的博客
04-29 943
的 crop，teacher model 仅接受 global view 的输入，student model 可以接受 global 和 local view 的输入。训练过程中，student model 的参数用 sgd 更新，teacher model 的参数由 student model 和 teacher model 的参数加权得到，DINO 的方法设计并不复杂，但是用 DINO 预训练得到的 feature map 与图像分割 mask 有很强的联系，这个性质比较有趣。
【算法学习、超详细】DINO用于视觉自监督学习的知识蒸馏算法——Emerging Properties in Self-Supervised Vision Transformers
qq_50001789的博客
02-21 2789
论文题目：《Emerging Properties in Self-Supervised Vision Transformers》| 作者利用知识蒸馏和动量更新策略实现了ViT模型在视觉任务上的自监督训练，通过摆脱标签的约束，充分挖掘了ViT算法的特征表示潜力。利用自监督学习的ViT特征明确包含了场景布局，特别是对象边界，这些关注区域可以在最后一个自注意力关注模块中直接提取，同时，自监督ViT网络所提取的特征在基本近邻分类器k-NN下表现特别好，无需任何微调就可以在ImageNet上达到78.3%的准确率。
多模态大模型 | GroundingDINO 论文总结
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
05-16 4606
开放集目标检测器GroundingDINO，无需训练，检测任何物体的模型，效果非常好
首个目标检测大模型(识别万物)：DINO-X（论文翻译）
m0_59164520的博客
11-30 3977
有了这样灵活的提示选项，我们开发了一个通用的对象提示符来支持无提示的开放世界检测，使得在不需要用户提供任何提示的情况下检测图像中的任何东西成为可能。为了增强模型的核心能力，我们构建了一个拥有超过1亿个高质量接地样本的大规模数据集，称为。
【目标检测】DINO
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
07-03 3367
DINO：提出对比去噪训练方法，相比原DN-DETR中的去噪训练方法引入了负查询来避免重复的和不期望的预测；提出混合查询选择方法，相比原Deformable DETR中的查询选择方法移除了由编码器输出初始化解码器内容查询的部分；提出向前看两层的锚框更新方法，相比原Deformable DETR中向前看一层的锚框更新方法将梯度更新扩展到了前一层。
DINO-DETR论文学习记录
pengxiang1998的博客
03-23 2798
我们介绍了DINO（带有改进的去噪器box的DETR），一种最先进的端到端对象检测器。DINO 通过使用对比方式进行去噪训练、混合查询选择方法进行锚点初始化以及用于框预测的ook forward twice方案，在性能和效率方面比以前的类似 DETR 模型有所改进。DINO在COCO上实现了12个时期的49.4AP，在24个时期内实现了51.3AP，具有ResNet-50骨干和多尺度特征，与之前最好的类似DETR的模型DN-DETR相比，分别产生了+6.0AP和+2.7AP的显着改善。
我所说的DINO模型是一种基于Transformer的端到端目标检测模型
01-18
### DINO Model Based on Transformer for End-to-End Object Detection DINO (DETR with Improved Denoising Anchor Boxes) 是一种基于 Transformer 的端到端目标检测框架，旨在改善传统 DETR 模型中存在的收敛速度慢以及检测精度不足等问题[^2]。 #### 改进的去噪锚框机制 为了提升模型性能并加速训练过程，DINO 引入了一种新的去噪锚框策略。这种技术通过引入虚拟噪声样本作为辅助学习信号来增强模型对于真实物体边界框位置的学习能力。具体来说，在训练阶段会随机生成一些带有轻微偏移的真实标签副本，并将其混入原始数据集中用于监督训练；而在推理过程中则仅依赖于干净的目标标注信息完成预测任务。 #### 高效解码结构设计 除了创新性的前向传播算法外，DINO 还特别注重编码器之后部分的设计——即如何有效地从全局特征图中提取局部区域描述子进而实现精准定位与分类。为此，研究者们精心构建了一个多尺度融合模块配合动态卷积层共同作用以获得更佳的感受野范围覆盖度和平滑过渡特性，从而显著提高了最终输出质量。 ```python import torch.nn as nn class DINODecoder(nn.Module): def __init__(self, d_model=256, nhead=8, num_decoder_layers=6): super().__init__() decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead) self.decoder = nn.TransformerDecoder(decoder_layer, num_decoder_layers) def forward(self, tgt, memory, tgt_mask=None, memory_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None): output = self.decoder(tgt=tgt, memory=memory, tgt_mask=tgt_mask, memory_mask=memory_mask, tgt_key_padding_mask=tgt_key_padding_mask, memory_key_padding_mask=memory_key_padding_mask) return output ```
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

聿默

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值