pytorch 45 使用自己的数据对groundingdino进行微调

已于 2024-08-11 22:22:55 修改
阅读量2.8k 收藏 11
点赞数 1
分类专栏： pytorch工程实践 文章标签： pytorch 人工智能 python
于 2024-04-12 21:16:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a486259/article/details/137653050
版权
本文介绍了如何基于Grounding-Dino-FineTuning项目使用PyTorch对Grounding DINO进行微调，适用于自己的yolo数据集。详细步骤包括环境准备、代码修改、预训练模型下载、数据处理、模型训练与测试。在训练过程中，针对单batch训练导致的显存利用率低问题，提出了可能的优化方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于项目：https://github.com/Asad-Ismail/Grounding-Dino-FineTuning 完成finetuning操作

Grounding DINO是一种基于transformer的视觉语言检测方法，它可以根据文字描述检测指定目标。它是在DINO的基础上，增加了多个阶段的视觉语言模态融合，包括特征增强器、语言指导的查询选择模块和跨模态解码器。它可以实现最先进的对象检测器的性能，消除了对NMS等手工模块的依赖。然而在应用到业务数据上还是有所不足，故而需要对Grounding DINO进行微调。

本博文基于Grounding-Dino-FineTuning项目实现对自己yolo数据的微调，在使用GroundingDino需要下载外网资源，在训练数据时目前仅支持batch为1的训练，导致显存利用率不高，后续会考虑优化Grounding-Dino-FineTuning项目。

1、环境准备

1.1 预训练代码下载

下载 https://github.com/Asad-Ismail/Grounding-Dino-FineTuning 项目，并解压
下载

了解本专栏 订阅专栏 解锁全文
如何提升grounding dino视觉大模型在自有数据集上表现？
skjmom的博客
02-28 219
Decoder中加adapter, 冻结编码器，仅微调decoder中adapter和box head,保留跨模态理解，适配下游任务，逐层调整跨模态交互过程，减少资源消耗，防止过拟合，不影响其他类检测性能，初始学习率设为预训练的1/10，混合自有数据和公开数据，混合标注数据和伪标签数据。软标签损失： 让学生模型学习教师模型的“思考方式”，即学习教师模型的输出概率分布。使用领域相关的预训练模型： 可以使用在领域相关的数据集上预训练的模型作为 Grounding DINO 的 backbone。
复现微调GroundingDino，训练自己的数据集（详细记录，附源码）
m0_62790681的博客
01-16 3301
复现并微调GroundingDINO模型，训练针对自定义数据集，本项目详细记录了从数据准备、环境配置、模型微调、训练过程到评估结果的所有步骤。
目标检测新SOTA，端侧实时识别，沈向洋罕见转发点赞
量子位
05-27 313
白交 发自 凹非寺量子位 | 公众号 QbitAI目标检测领域，迎来了新进展——Grounding DINO 1.5，IDEA研究院团队出品，在端侧就可实现实时识别。这一进展获得AI大佬沈向洋转发，他一般都是一年一转的节奏。此次发布主要有两个版本：Pro和Edge。Pro版更强，Edge版更快。它仍然保留了上一个版本Grounding DINO双编码器-单解码器结构，在此基础上通过结合更大的视觉 ...
dinov2-finetune：细粒度图像分割的微调框架
gitblog_01162的博客
04-01 1165
dinov2-finetune：细粒度图像分割的微调框架 dinov2-finetune Testing adaptation of the DINOv2 encoder for vision tasks with Low-Rank Adaptation (LoRA) ...
微调Grounding DINO
qq_44908396的博客
10-09 2668
微调grounding dino
GroundingDINO微调训练_训练日志解释
ban102055的博客
12-09 1980
这些日志输出帮助我们追踪训练过程中的模型表现，包括学习率、损失、梯度、内存使用等。训练损失由多个部分组成，每个部分表示不同任务的损失，例如分类、边框回归和 IoU。如果损失变化较大，可能需要调整模型结构、学习率、数据预处理等因素。如果你需要进一步优化训练或分析训练过程，可以使用这些信息来判断哪些方面的损失较大，从而调整模型或训练参数。
简化目标检测：使用 Grounding DINO 对自定义数据集进行标注
Warmer_Sweeter
04-22 4394
点击下方卡片，关注“小白玩转Python”公众号对于像 YOLO 这样的模型，使用带有标注图像数据集进行训练有时可能会有点令人望而却步。如果你需要处理自定义数据，并围绕其定义标注，那可能会有些耗时。但我找到了完美的解决方案——Grounding DINO！这种方法的突破之处在于，它将基于 Transformer 的检测器 DINO 与基础预训练相结合，可以从有限的人类输入中检测到任意对象。这篇简易...
探索无界物体检测：Grounding DINO 1.5 模型系列
gitblog_00058的博客
05-30 1424
探索无界物体检测：Grounding DINO 1.5 模型系列 Grounding-DINO-1.5-APIAPI for Grounding DINO 1.5: IDEA Research's Most Capable Open-World Object Detection Model Series项目地址:https://gitcode.com/gh_mirrors/gr/Groundin...
bert-base-uncased-pytorch_model.bin
05-08
# 示例：对一段文本进行编码 inputs = tokenizer("这是一个示例文本", return_tensors="pt") # 通过模型进行前向传播 outputs = model(**inputs) # 获取模型的输出 last_hidden_state = outputs.last_hidden_state...
GroundingDINO复现
最新发布
04-02
### 如何复现 GroundingDINO 模型的 PyTorch 实现 #### 安装依赖环境 要成功运行 GroundingDINO 的代码，首先需要安装必要的 Python 库。以下是推荐的安装命令以及项目克隆步骤： 通过以下命令可以完成基础库的...
onnxruntime部署GroundingDINO开放世界目标检测包含C++和Python源码+模型+说明.zip
05-02
5. **预训练模型**: 压缩包中的预训练模型是已经通过大量数据训练得到的，可以直接用于推理或者作为基础进行微调。这极大地降低了开发者的门槛，使他们能够快速验证和应用新算法。 6. **源码分析**: C++和Python...
Grounding DINO 及其进阶版 1.5 SAM SAM2 的源代码及预训练模型，适用于无法打开Github网页的同学
08-13
内含 Grounding DINO 源码+预训练模型+paper、Grounding DINO 1.5 源码、Grounding DINO SAM 源码+paper、Grounding DINO SAM2 源码，适用于无法打开Github网页的同学
结合文本的目标检测：Open-GroundingDino训练自己的数据集
qq_44442727的博客
04-12 8183
是的第三方实现训练流程的代码，因为官方GroundingDino没有提供训练代码，只提供了demo推理代码。Open-GroundingDino的Github网址:要跑起来Open-GroundingDino，需要解决环境安装，数据集制作，网络配置等问题，下面大致从这几个方面进行介绍。
Grounding DINO论文解读与代码调试
weixin_42479327的博客
03-12 8405
该模型2023.4月发布，是较新，效果很好的Open-Set Object Detection模型，很好玩，但直接做zero-shot还达不到工业部署的水平。我对它的整体评价也如GLIP一样。虽然比GLIP有提升，但效果还有继续提升空间。
【多模态】11、Grounding DINO | 将 DINO 扩展到开集目标检测
呆呆的猫的博客
06-10 5507
本文主要介绍开集目标检测方法 Grounding DINO
GroundingDINO-根据文本提示检测任意目标
sgzqc的专栏
12-30 2123
正如大家在本文开头的表格中所看到的，比GLIP推理速度更快，但在要求实时检测场景中考虑起来仍然推理速度太慢。然而，该模型可以在灵活性和泛化性很重要的任务中大放异彩，比如可以成功地用于自动化数据标注。此外，还可以通过使用语言约束而不是复杂且容易出错的手工组件来分析检测关系，从而大大简化图像和视频分析的处理逻辑。总之，无疑是一个重大突破，它将为物体检测及其他领域的更多创新应用铺平道路。
DINOv、T-Rex、T-Rex2、GLIP、Grounding DINO论文阅读
zzzzry的博客
03-27 2009
效果：视觉提示通用分割、视觉提示参照分割、zero-shot视频对象和部分分割出发点：在视觉领域利用LLMs做上下文提示（in-context prompting）贡献：1）我们是第一个扩展来支持通用视觉任务，如开放集通用分割和检测，并实现与基于文本提示的开放集模型相当的性能。2）我们构建了，一个基于视觉上下文提示的参考分词和通用分词的统一框架。这种统一简化了模型设计，并允许我们的模型同时使用语义标记和未标记的数据，以获得更好的性能。
Grounding DINO: Marrying DINO with Grounded Pre-Training forOpen-Set Object Detection
weixin_42390283的博客
04-20 4060
在本文中，我们提出了一种开放集对象检测器，称为Grounding DINO，通过将基于Transformer的检测器DINO与真值预训练相结合，该检测器可以通过人类输入（如类别名称或指代表达）对任意物体进行检测。开放集目标检测的关键解决方案是将语言引入闭集检测器，用于开集概念泛化。为了有效地融合语言和视觉模态，我们从概念上将闭合集检测器分为三个阶段，并提出了一个紧密的融合解决方案，其中包括一个特征增强器、一个以语言引导的查询选择和一个跨模态的融合。
Grounding DINO：将DINO与有基础的预训练相结合以实现开放集目标检测
AI公园
10-25 1110
导读Grounding DINO在COCO零样本检测基准上达到了52.5的平均精度（AP）。它在ODinW零样本基准上创下了平均26.1 AP的新纪录。摘要在本文中，我们开发了一种开集目标检测器，称为Grounding DINO，通过将基于Transformer的检测器DINO与基于grounded的预训练相结合，能够根据人类输入（如类别名称或指代表达）检测任意目标。开集目标检测的关键解决方案是在...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

万里鹏程转瞬至

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值