生成mm grounding dino的onnx模型并在x-anylabeling中使用

最新推荐文章于 2024-09-13 16:26:44 发布
最新推荐文章于 2024-09-13 16:26:44 发布
阅读量559 收藏 2
点赞数 2
分类专栏： 深度学习视觉相关 文章标签： 深度学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blanokvaffy/article/details/139926258
版权

前言

X-AnyLabeling 是一款cvhub开发的交互式自动标注工具，其基于AnyLabeling进行构建和二次开发，在此基础上扩展并支持了许多的模型和功能，并借助Segment Anything和YOLO等主流模型提供强大的 AI 支持。其最新版基于grounding dino可以实现开放词汇检测及生成掩码。

2024年，MMDet 3.3.0提出了 MM-Grounding-DINO。其不仅作为 Grounding DINO 的开源复现版，MM-Grounding-DINO 基于重新构建的数据类型出发，在探索了不同数据集组合和初始化策略基础上实现了 Grounding DINO 的性能极大提升。
在这里插入图片描述
查了一下当前网络上并没有关于MM-Grounding-DINO的onnx部署的实现方法。于是就自己写了一版方便大家使用，同时可以实现将MM-Grounding-DINO加载到X-AnyLabeling中，实现无缝的使用体验。

方法

首先PIP安装MMDet 3.3.0和相关依赖，并下载相应的模型权重。修改模型config中的backbone中的with_cp=True为with_cp=False，修改

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【开放词汇检测】MM-Grounding-DINO论文翻译
m0_47867638的博客
09-14 515
摘要 Grounding-DINO 是一种先进的开放式检测模型，能够处理包括开放词汇检测（Open-Vocabulary Detection，OVD）、短语定位（Phrase Grounding，PG）和指代表达理解（Referring Expression Comprehension，REC）在内的多项视觉任务。其有效性使得它成为各种下游应用的主要架构得到了广泛应用。然而，尽管它很重要，原始的 Grounding-DINO 模型由于缺乏训练代码而缺乏全面的公共技术细节。为了弥补这一差距，我们提出了 MM-
onnxruntime部署GroundingDINO开放世界目标检测包含C++和Python源码+模型+说明.zip
05-02
onnxruntime部署GroundingDINO开放世界目标检测包含C++和Python源码+模型+说明.zip
实战篇-Grounded-SAM/GroundingDINO：如何在实际中文场景中提高检测性能~
小小帅
02-29 4375
本篇的内容建立在对Grounded-SAM有一定基础，且上手实际使用过。
C# Onnx GroundingDINO 开放世界目标检测
CrazyFlyingBee的博客
03-03 590
C# Onnx GroundingDINO 开放世界目标检测
MM-Grounding-DINO的训练推理（待更新）
qq_44442727的博客
04-12 1229
继前面发布的GroundingDino 和 Open-GroundingDino的推理和Open-GroundingDino的训练实现，作为 GroundingDino延续性的文本检测网络 MM-Grounding-DINO 也发布了较详细的 训练和推理实现教程，而且操作性很强。作为学习内容，也打算整理一下 MM-Grounding-DINO 的推理和训练实现。
C# Onnx GroundingDINO开放世界目标检测 源码
02-02
C# Onnx GroundingDINO开放世界目标检测 源码 博客地址：https://lw112190.blog.csdn.net/article/details/135992656
Grounding DINO 及其进阶版 1.5 SAM SAM2 的源代码及预训练模型，适用于无法打开Github网页的同学
08-13
内含 Grounding DINO 源码+预训练模型+paper、Grounding DINO 1.5 源码、Grounding DINO SAM 源码+paper、Grounding DINO SAM2 源码，适用于无法打开Github网页的同学
paligemma、Grounding-DINO-1.5、Florence-2、EVF-SAM简单无需标注无需训练直接可以使用的识别、检测、分割大模型
weixin_42357472的博客
05-20 541
参考：https://github.com/google-research/big_vision/blob/main/big_vision/configs/proj/paligemma/README.md。通过文字prompt既可与图片对话输出，下面是官方案例。prompt 文字输入用.间隔。文本与图像特征一起送入大模型。类似CLIP对比学习方式。
【开放词汇检测】基于MMDetection的MM-Grounding-DINO实战
最新发布
m0_47867638的博客
09-13 984
基础环境：Ubuntu 22.04、CUDA 11.7Grounding-DINO 是一种先进的开放集检测模型，能够处理包括开放词汇检测（OVD）、短语定位（PG）和指代表达式理解（REC）在内的多种视觉任务。由于其有效性，Grounding-DINO 已被广泛采用为各种下游应用的主流架构。然而，尽管它意义重大，但由于训练代码的不可用性，原始的 Grounding-DINO 模型缺乏全面的公共技术细节。
使用onnxruntime部署GroundingDINO开放世界目标检测，包含C++和Python两个版本的程序.zip
09-05
目标检测（Object Detection）是计算机视觉领域的一个核心问题，其主要任务是找出图像中所有感兴趣的目标（物体），并确定它们的类别和位置。以下是对目标检测的详细阐述： 一、基本概念 目标检测的任务是解决“在哪里？是什么？”的问题，即定位出图像中目标的位置并识别出目标的类别。由于各类物体具有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具挑战性的任务之一。 二、核心问题 目标检测涉及以下几个核心问题： 分类问题：判断图像中的目标属于哪个类别。 定位问题：确定目标在图像中的具体位置。 大小问题：目标可能具有不同的大小。 形状问题：目标可能具有不同的形状。 三、算法分类 基于深度学习的目标检测算法主要分为两大类： Two-stage算法：先进行区域生成（Region Proposal），生成有可能包含待检物体的预选框（Region Proposal），再通过卷积神经网络进行样本分类。常见的Two-stage算法包括R-CNN、Fast R-CNN、Faster R-CNN等。 One-stage算法：不用生成区域提议，直接在网络中提取特征来预测物体分类和位置。常见的One-stage算法包括YOLO系列（YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等）、SSD和RetinaNet等。 四、算法原理 以YOLO系列为例，YOLO将目标检测视为回归问题，将输入图像一次性划分为多个区域，直接在输出层预测边界框和类别概率。YOLO采用卷积网络来提取特征，使用全连接层来得到预测值。其网络结构通常包含多个卷积层和全连接层，通过卷积层提取图像特征，通过全连接层输出预测结果。 五、应用领域 目标检测技术已经广泛应用于各个领域，为人们的生活带来了极大的便利。以下是一些主要的应用领域： 安全监控：在商场、银行
简化目标检测：使用 Grounding DINO 对自定义数据集进行标注
Warmer_Sweeter
04-22 2851
点击下方卡片，关注“小白玩转Python”公众号对于像 YOLO 这样的模型，使用带有标注图像数据集进行训练有时可能会有点令人望而却步。如果你需要处理自定义数据，并围绕其定义标注，那可能会有些耗时。但我找到了完美的解决方案——Grounding DINO！这种方法的突破之处在于，它将基于 Transformer 的检测器 DINO 与基础预训练相结合，可以从有限的人类输入中检测到任意对象。这篇简易...
GroundingDINO 项目使用教程
gitblog_00721的博客
08-08 646
GroundingDINO 项目使用教程 项目地址:https://gitcode.com/gh_mirrors/gr/GroundingDINO 1. 项目的目录结构及介绍 GroundingDINO 项目的目录结构如下： GroundingDINO/ ├── demo/ │ └── test_ap_on_coco.py ├── groundingdino/ │ └── config/ ...
【23年新文】多模态图像识别和定位—— Grounding DINO 模型的解析和使用
weixin_44483403的博客
01-19 2401
作者文中说到训练了两种backbone的版本，一个叫Grounding-DINO-T，用的是 Swin-T 作为主干，另一个是 Groungind-DINO-L, 用的是 Swin-L 主干。之后下载他们训练好的模型，这里下载的是 SwinT 作为骨干网络的版本，你也可以不在 terminal 里面下载，自己下载到本地（或者是自己上传到服务器）。模型示意图是从下到上看的，具体pipeline参考下文“训练细节”一段（注意左边到右边有淡淡的一个用来映射的色块，可以看到结构放大的细节）
自动标注软件X-AnyLabeling的使用教程及一些问题的记录
热门推荐
m0_58389434的博客
11-13 2万+
最近需要标注一批单目标检测的数据集，但是手动标注实在太麻烦了，最终发现一款超级好用的标注标注软件：X-AnyLabeling。不仅支持多种格式，多种标注方式，还提供了许多模型。在使用自动标注的前提是拥有一个自己已经训练好的模型权重文件或者直接使用该软件再github上已经存在的各种模型的预训练权重文件，最后都要将他们转换为onnx文件以供软件的自动检测标注。
grounding_dino_mmcv目标检测算法模型
qq_27815483的博客
07-18 1124
Grounding DINO是一个将基于Transformer的DINO检测器与预训练相结合的开放集目标检测器。
【计算机视觉 | 目标检测 | 图像分割】Grounded Segment Anything：Grounding DINO + Segment Anything Model (SAM)介绍
wzk4869的博客
09-19 3007
【计算机视觉 | 目标检测 | 图像分割】Grounded Segment Anything：Grounding DINO + Segment Anything Model (SAM)介绍
文本提示检测图像任意目标(Grounding DINO) 的使用以及全网最详细源码讲解
小小帅
02-17 8031
Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection 对于Grounding DINO paper地详细阅读，请移步之前的文章： 由文本提示检测图像任意目标(Grounding DINO)论文阅读: Marrying DINO for Open-Set Object Detection 结合Grounding DINO paper和Grounding DINO code，真正理解Grou
Grounding DINO中基于Transformer 检测器 DINO
11-19
根据提供的引用内容，Grounding DINO是一种结合了DINO和基于Transformer的检测器的模型，用于开放式目标检测。它的输入是图像和文本，输出是多个[物体框，名词短语]对。具体来说，Grounding DINO使用DINO模型对图像和文本进行编码，然后使用基于Transformer的检测器对编码后的特征进行检测，最终输出[物体框，名词短语]对。 下面是一个简单的示例代码，演示如何使用Grounding DINO进行开放式目标检测： ```python import torch from torchvision.models.detection import fasterrcnn_resnet50_fpn from transformers import ViTFeatureExtractor, ViTForImageClassification from transformers.models.dino.modeling_dino import DINOHead # 加载预训练的DINO模型和ViT模型 dino = ViTForImageClassification.from_pretrained('facebook/dino-vit-base') dino_head = DINOHead(dino.config) dino_head.load_state_dict(torch.load('dino_head.pth')) dino.eval() vit_feature_extractor = ViTFeatureExtractor.from_pretrained('google/vit-base-patch16-224') # 加载预训练的Faster R-CNN检测器 model = fasterrcnn_resnet50_fpn(pretrained=True) model.eval() # 输入图像和文本 image = Image.open('example.jpg') text = 'a person riding a bike' # 对图像和文本进行编码 image_features = vit_feature_extractor(images=image, return_tensors='pt')['pixel_values'] text_features = dino_head.get_text_features(text) image_embedding, text_embedding = dino(image_features, text_features) # 使用Faster R-CNN检测器进行目标检测 outputs = model(image_embedding) boxes = outputs[0]['boxes'] labels = outputs[0]['labels'] # 输出[物体框，名词短语]对 for i in range(len(boxes)): print([boxes[i], labels[i]]) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值