重磅！首个目标检测大模型(识别万物)：DINO-X

最新推荐文章于 2025-03-01 09:54:02 发布
最新推荐文章于 2025-03-01 09:54:02 发布
阅读量3.6k 收藏 27
点赞数 12
分类专栏： 计算机视觉 文章标签： 目标检测 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sexy19910923/article/details/144016555
版权

2024年11月20号IDEA Research 开发的具有最佳开放世界物体检测性能的统一的以物体为中心的视觉模型。为了使长尾物体检测变得简单，DINO-X 扩展了其输入选项以支持文本提示、视觉提示和自定义提示。
在这里插入图片描述

文章地址：DINO-X：用于开放世界物体检测和理解的统一视觉模型
项目地址：https://github.com/IDEA-Research/DINO-X-API
体验地址：https://deepdataspace.com/playground/grounding_dino

在这里插入图片描述

主要内容

IDEA 开发了一个通用物体提示来支持无提示的开放世界检测，从而无需用户提供任何提示即可检测图像中的任何内容。构建了一个包含超过 1 亿个高质量基础样本的大规模数据集，称为 Grounding-100M，以提高模型的开放词汇检测性能。还扩展了 DINO-X 以集成多个感知头，从而同时支持多个物体感知和理解任务，包括检测、分割、姿势估计、物体字幕、基于物体的 QA 等。
DINO-X 包含两个模型：

  • DINO-X Pro： 性能最强的型号，增强感知能力，适用于多种场
  • DINO-X Edge： 高效模型针对更快的推理速度进行了优化，更适合部署在边缘设备上。

DINO-X 亮点

在DINO 1.5 的基础上，DINO-X 进行了多项改进，朝着更通用的以物体为中心的视觉模型迈进了一步。在这里插入图片描述
DINO-X 的亮点如下：

  • 最强的开放集检测性能：DINO-X Pro 在零样本转移检测基准上创下了新的 SOTA 结果：COCO 上的56.0 AP、LVIS-minival 上的59.8 AP和LVIS-val 上的52.4 AP。将之前的 SOTA 性能提高了 5.8 个AP 和5.0 个 AP。凸显了其识别长尾物体的能力显著提高。
  • 多样化的输入提示和多层次的输出语义表示：DINO-X 可以接受文本提示、视觉提示和自定义提示作为输入，并通过多个感知头输出各种语义级别的表示，包括边界框、分割蒙版、姿势关键点和对象标题。
  • 丰富实用的功能：DDINO-X可以同时支持许多实用性极强的任务，包括开放集物体检测与分割、短语基础、视觉提示计数、姿势估计和区域字幕。进一步开发了通用物体提示，以实现无提示的任何物体检测和识别。

DINO-X整体框架

DINO-X 可以接受文本提示、视觉提示和自定义提示作为输入，并且可以生成各个语义层面的表示，包括边界框、分割蒙版、姿势关键点和对象标题。在这里插入图片描述

DINO-X Pro的核心架构，与Grounding DINO 1.5类似，利用预先训练好的 ViT 模型作为主要的视觉骨干，并在特征提取阶段采用了深度早期融合策略。
但不同的是，他们扩大了DINO-X Pro在输入阶段的提示支持，除了文本，还支持视觉提示和自定义提示，以满足包括长尾物体在内的各种检测需求。
而对于DINO-X Edge版本，他们利用 EfficientViT作为高效特征提取的骨干，并采用了类似Transformer编码器-解码器架构。
此外，为了提高 DINO-X Edge 模型的性能和计算效率，他们还对模型结构和训练技术做了几个方面的改进：

  • 文本提示编码器：采用了与pro模型相同的 CLIP 文本编码器
  • 知识提炼模型：利用基于特征的蒸馏和基于响应的蒸馏，分别调整Edge模型和Pro模型之间的特征和预测对数。
  • 优化模型推理：改进FP16推理，采用浮点乘法归一化技术

应用场景

检测各种物体：DINO-X 展示了根据给定的文本提示检测任何物体的能力。它可以识别各种物体，从常见类别到长尾类别和密集物体场景，展示了其强大的开​​放世界物体检测能力。在这里插入图片描述

检测及分割结果：DINO-X 不仅能够基于文本提示进行开放世界物体检测，还能为每个物体生成相应的分割掩码，提供更丰富的语义输出。
在这里插入图片描述

无提示物体检测：该功能允许用户在不提供任何提示的情况下检测输入图像中的任何物体。在这里插入图片描述

人体和手部关键点：DINO-X 在 COCO、CrowdHuman 和 Human-Art 数据集上进行训练，能够预测各种场景中的人体和手部关键点。在这里插入图片描述

总结

DINO-X，是一种强大的以对象为中心的视觉模型，旨在推动开放集对象检测和理解领域的发展。旗舰模型 DINO-X Pro 在 COCO 和 LVIS 零样本基准测试中创下了新纪录，检测准确率和可靠性显著提高。为了使长尾对象检测变得简单，DINO-X 不仅支持基于文本提示的开放世界检测，还支持使用视觉提示和自定义提示进行对象检测，以适应定制场景。
此外，DINO-X 将其功能从检测扩展到更广泛的感知任务，包括分割、姿势估计和对象级理解任务。为了让更多边缘设备上的应用程序能够实时检测对象，还开发了 DINO-X Edge 模型，进一步扩展了 DINO-X 系列模型的实际效用。

【深度学习】YOLO-World: Real-Time Open-Vocabulary Object Detection，目标检测
q742971636的博客
04-08 3201
YOLO-World是一种实时开放词汇目标检测系统，它通过视觉-语言建模和大规模数据集上的预训练，增强了YOLO（You Only Look Once）系列检测器的开放词汇检测能力。具体来说，该研究提出了一个新的可重新参数化的视-语路径聚合网络（RepVL-PAN）和区域-文本对比损失函数，以促进视觉和语言信息之间的交互。YOLO-World在零样本方式下检测广泛对象类别方面表现出色，并且效率很高。
yolo-world：”目标检测届大模型“
AI相关从业分享
05-07 1841
YOLO在标准基准测试中，World 的速度和效率超过了现有的开放词汇检测器，包括 MDETR 和 GLIP 系列，展示了YOLOv8 在单个 NVIDIA V100 GPU 上的卓越性能。YOLO属于经典的传统AI模型，即经过有监督的训练后，模型学习到特征与标签间的关联关系，可对图像、视频中出现的物体进行特征检测，负荷已知特征的物体图像会被打上标签和置信度。：利用 CNN 的计算速度，YOLO-World 可提供快速的开放词汇检测解决方案，满足各行业对即时结果的需求。
DINO-X：一种用于开放世界目标检测与理解的统一视觉模型
最新发布
qq_22583741的博客
03-01 1009
在本文中，我们介绍了DINO-X，这是一种由IDEA Research团队开发的统一以对象为中心的视觉模型，迄今为止在开放世界目标检测性能方面表现最佳。DINO-X采用了与Grounding DINO 1.5 [47]相同的基于Transformer的编码器-解码器架构，以追求开放世界目标理解的对象级表示。为了简化长尾目标检测，DINO-X扩展了其输入选项，支持文本提示、视觉提示和定制提示。
首个目标检测大模型(识别万物)：DINO-X（论文翻译）
m0_59164520的博客
11-30 4027
有了这样灵活的提示选项，我们开发了一个通用的对象提示符来支持无提示的开放世界检测，使得在不需要用户提供任何提示的情况下检测图像中的任何东西成为可能。为了增强模型的核心能力，我们构建了一个拥有超过1亿个高质量接地样本的大规模数据集，称为。
无需用户提示，直接检测万物！用于开放世界目标检测与理解的统一视觉模型：DINO-X
m0_59163425的博客
11-28 1326
万物识别：开放世界（Open-world）目标检测！IDEA 开发了一个通用物体提示来支持，从而无需用户提供任何提示即可检测图像中的任何内容。发布了DINO系列最新的DINO-X通用视觉大模型，拥有真正的物体级别理解能力，具有最佳开放世界物体检测性能的统一的以物体为中心的视觉模型。同时构建了一个包含超过 1 亿个高质量基础样本的大规模数据集，称为 Grounding-100M，以提高模型的开放词汇检测性能。
基于大模型的目标检测方法研究
matlab_python22的博客
01-09 716
本文提出了一种基于Transformer的大模型目标检测方法，通过结合自注意力机制和卷积神经网络，成功提升了目标检测的精度和速度。实验结果表明，该方法在多个数据集上表现优异，具有较好的实用性。
3D目标检测~模型汇总
whaosoft143ai的博客
10-17 569
这是一篇来自Deep Vision Lab文章，发表在了CVPR2023上。作者发现了3D Spconv中应用的大卷机核时，并不如2D任务中一样那么有效。为了应对这些挑战。提出了。HIP的策略是逐阶段识别难以处理的实例。初始阶段，有一组地面实际目标对象O以及一组初始目标候选项A。神经网络在每个阶段根据这些候选项进行正面或负面的预测，其中候选项可以是各种类型，不仅限于锚点。每个阶段会产生一组已检测到的目标，然后根据它们与实际目标的匹配关系来分类实际目标。这种匹配可以使用不同的度量标准和阈值来实现。未匹配的实际
最新！OMNI3D：3D目标检测的大型基准和模型（Meta AI）
CV_Autobot的博客
11-21 2673
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【3D目标检测】技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！论文链接：https://arxiv.org/pdf/2207.10660v1.pdf代码链接：https://github.com/facebookresearch/omni3d摘要从单目图像中识别3D场景和物体是...
深度学习目标检测模型全面综述：Faster R-CNN、R-FCN和SSD
weixin_33670713的博客
09-18 713
选自medium机器之心编译机器之心编辑部Faster R-CNN、R-FCN 和 SSD 是三种目前最优且应用最广泛的目标检测模型，其他流行的模型通常与这三者类似。本文介绍了深度学习目标检测的三种常见模型：Faster R-CNN、R-FCN 和 SSD。图为机器之心小编家的边牧「Oslo」被 YOLO 识别为猫随着自动驾驶汽车、智能监控摄像头、面部识别以及大量对人有价值的应用出现，快速、精准的...
DINO-X:A Unified Vision Model forOpen-World Object Detection and Understanding_面向开放世界目标检测与理解的统一视觉模型
Together_CZ的博客
01-20 1789
DINO-X:A Unified Vision Model for Open-World Object Detection and Understanding_面向开放世界目标检测与理解的统一视觉模型
目标检测分割大模型—零样本实现目标检测/图像分割/目标跟踪
weixin_43825188的博客
06-10 3317
Grounding DINO 1.5 在其前身 Grounding DINO 的基础上，通过结合更大的视觉 backbone 扩大模型尺寸，并使用超过2000万的 Grounding 数据获得了丰富的语料，大幅提升了检测精度和速度，且通过Pro和Edge版本分别针对不同应用场景进行了优化。相反，视觉提示提供了一种更直观、更直接的对象表示方法。如工业生产流水线器件检测，交通航运领域的船舶、飞机检测，农业领域的农作物、果蔬检测，生物医学领域的细胞、组织检测，物流领域的货物检测，环境领域的野生动物监测等。
【目标检测经典模型比较】--YOLOv1、v2、v3、v4、v5、x、v7、v8
weixin_62371528的博客
02-06 8759
YOLOv1、v2、v3、v4、v5、x、v7、v8。YOLO全系列图文讲解，并包含优缺点与创新点比较，最后还有yolov8模型改进方法.
深度学习（4）之目标检测模型综述：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
yohnyang的博客
04-30 6271
目标检测模型综述：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD 前言 之前我所在的公司七月在线开设的深度学习等一系列课程经常会讲目标检测，包括R-CNN、Fast R-CNN、Faster R-CNN，但一直没有比较好的机会深入（但当你对目标检测有个基本的了解之后，再看这些课程你会收益很大）。但目标检测这个领域实在是太火了，经常会看到...
基于目标检测模型的---停车位检测、低矮障碍物、地面标识检测
热门推荐
herobinbin的专栏
11-15 1万+
只采用目标检测（没有关键点、旋转框，只有2D框）的方法在fisheye bev图上同时检测 1、线车位、砖车位、空间车位、立体车位（包含水平、垂直、斜列） 2、各种低矮障碍物接地框（轮档、限位杆，雪糕筒、地锁、隔离桩、树干、电线杆、石柱、石球、防撞桶等） 3、地面标识：地面箭头方向、减速带方向、残疾人标识等
教你利用多模态视觉大模型做目标检测 Object Detection！制造业能有那些场景使用大模型呢？还看YOLOv8，YOLOv9，YOLOv10，YOLOv11呢，烂怂卷积有啥好看的？
shiter编写程序的艺术
03-17 2029
最近的多模态大型语言模型（MLLMs）在视觉-语言任务（如图像标注和问题回答）中表现出色，但它们缺乏基本的感知能力，即对象检测。在这项工作中，我们通过引入一个新的研究问题——上下文对象检测，来解决这一局限性，即在不同的人机交互上下文中理解可见对象。有一次我在单位汇报的时候，大领导问：深度学习先在还这么落后嘛？每次解决一个问题还要重新训练一个模型？后Sora时代，CV从业者如何选择模型？阿里云学习平台与通义千问。
万物目标识别——Detic使用图像级别的监督信号来进行目标检测模型推理（C++/Python）
知来者逆的博客
09-13 3750
目前可以识别的目标有2万1000多种，基本可以覆盖真实世界里面所有可以见到的目标。
首个多模态查询目标检测大模型！ | NeurIPS 2023
qq_36101623的博客
12-29 2224
与之前的固定类别集（通常由有限数量表示）相比，前述的文本查询具有代表广泛概念的优点，但也存在固有的不足之处，即描述细粒度不足 [4, 9, 32]。经验上，解决描述细粒度不足问题的一个简单解决方案是设计额外的文本描述，但存在三个明显的障碍：1）全面描述视觉细节很难 [52]，为大量类别构建文本描述是一项繁重的工作。在finetuning-free的设定下，MQ-Det对每个类别选用了5个视觉示例，同时结合类别文本进行目标检测，而现有的其他模型不支持视觉查询，只能用纯文本描述进行目标检测。
​2023年十大目标检测模型！
fengdu78的博客
04-12 5542
“目标检测是计算机视觉中最令人兴奋和具有挑战性的问题之一，深度学习已经成为解决该问题的强大工具。”—Dr. Liang-Chieh Chen目标检测是计算机视觉中的基础任务，它涉及在图像中识别和定位目标。深度学习已经革新了目标检测，使得在图像和视频中更准确和高效地检测目标成为可能。在2023年，有几个深度学习模型正在在目标检测方面取得显著进展。以下是2023年十大目标检测深度学习模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值