复现微调GroundingDino，训练自己的数据集（详细记录，附源码）

已于 2025-01-20 17:14:12 修改
阅读量3k 收藏 29
点赞数 28
分类专栏： 模型复现 文章标签： python 深度学习 opencv 人工智能 计算机视觉
于 2025-01-16 21:54:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62790681/article/details/145183038
版权

官方论文：Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection

官方项目地址：GitHub - IDEA-Research/GroundingDINO: [ECCV 2024] Official implementation of the paper "Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection"

微调项目地址：GitHub - longzw1997/Open-GroundingDino: This is the third party implementation of the paper Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection.

Swin-T：

最低0.47元/天 解锁文章
如何提升grounding dino视觉大模型在自有数据集上表现？
skjmom的博客
02-28 167
Decoder中加adapter, 冻结编码器，仅微调decoder中adapter和box head,保留跨模态理解，适配下游任务，逐层调整跨模态交互过程，减少资源消耗，防止过拟合，不影响其他类检测性能，初始学习率设为预训练的1/10，混合自有数据和公开数据，混合标注数据和伪标签数据。软标签损失： 让学生模型学习教师模型的“思考方式”，即学习教师模型的输出概率分布。使用领域相关的预训练模型： 可以使用在领域相关的数据集上预训练的模型作为 Grounding DINO 的 backbone。
pytorch 45 使用自己的数据对groundingdino进行微调
a486259的博客
04-12 2750
Grounding DINO是一种基于transformer的视觉语言检测方法，它可以根据文字描述检测指定目标。它是在DINO的基础上，增加了多个阶段的视觉语言模态融合，包括特征增强器、语言指导的查询选择模块和跨模态解码器。它可以实现最先进的对象检测器的性能，消除了对NMS等手工模块的依赖。然而在应用到业务数据上还是有所不足，故而需要对Grounding DINO进行微调。本博文基于Grounding-Dino-FineTuning项目实现对自己yolo数据的微调
文本提示检测图像任意目标(Grounding DINO) 的使用以及全网最详细源码讲解
热门推荐
小小帅
02-17 1万+
Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection 对于Grounding DINO paper地详细阅读，请移步之前的文章： 由文本提示检测图像任意目标(Grounding DINO)论文阅读: Marrying DINO for Open-Set Object Detection 结合Grounding DINO paper和Grounding DINO code，真正理解Grou
小白玩转Python | 简化目标检测：使用 Grounding DINO 对自定义数据集进行标注
最新发布
csdn_xmj的博客
03-27 665
对于像 YOLO 这样的模型，使用带有标注图像数据集进行训练有时可能会有点令人望而却步。如果你需要处理自定义数据，并围绕其定义标注，那可能会有些耗时。但我找到了完美的解决方案——Grounding DINO！这种方法的突破之处在于，它将基于 Transformer 的检测器 DINO 与基础预训练相结合，可以从有限的人类输入中检测到任意对象。这篇简易指南向你解释了如何有效地将你的自定义数据集格式化为 PASCAL VOC 格式，并且让你惊讶地发现，在你的目标检测项目中，这些数据集可以轻松而有效地使用。
结合文本的目标检测：Open-GroundingDino训练自己的数据集
qq_44442727的博客
04-12 7767
是的第三方实现训练流程的代码，因为官方GroundingDino没有提供训练代码，只提供了demo推理代码。Open-GroundingDino的Github网址:要跑起来Open-GroundingDino，需要解决环境安装，数据集制作，网络配置等问题，下面大致从这几个方面进行介绍。
Grounding DINO：将DINO与有基础的预训练相结合以实现开放集目标检测
AI公园
10-25 1029
导读Grounding DINO在COCO零样本检测基准上达到了52.5的平均精度（AP）。它在ODinW零样本基准上创下了平均26.1 AP的新纪录。摘要在本文中，我们开发了一种开集目标检测器，称为Grounding DINO，通过将基于Transformer的检测器DINO与基于grounded的预训练相结合，能够根据人类输入（如类别名称或指代表达）检测任意目标。开集目标检测的关键解决方案是在...
编辑任何东西
a1014981613的博客
04-13 602
这是一个正在进行的项目，旨在编辑和生成图像中的任何内容，由Segment Anything、ControlNet、 BLIP2、Stable Diffusion等提供支持。 一个有趣的项目。非常欢迎任何形式的贡献和建议！
微调Grounding DINO
qq_44908396的博客
10-09 2332
微调grounding dino
简化目标检测：使用 Grounding DINO 对自定义数据集进行标注
Warmer_Sweeter
04-22 4262
点击下方卡片，关注“小白玩转Python”公众号对于像 YOLO 这样的模型，使用带有标注图像数据集进行训练有时可能会有点令人望而却步。如果你需要处理自定义数据，并围绕其定义标注，那可能会有些耗时。但我找到了完美的解决方案——Grounding DINO！这种方法的突破之处在于，它将基于 Transformer 的检测器 DINO 与基础预训练相结合，可以从有限的人类输入中检测到任意对象。这篇简易...
GroundingDINO微调训练_训练日志解释
ban102055的博客
12-09 1832
这些日志输出帮助我们追踪训练过程中的模型表现，包括学习率、损失、梯度、内存使用等。训练损失由多个部分组成，每个部分表示不同任务的损失，例如分类、边框回归和 IoU。如果损失变化较大，可能需要调整模型结构、学习率、数据预处理等因素。如果你需要进一步优化训练或分析训练过程，可以使用这些信息来判断哪些方面的损失较大，从而调整模型或训练参数。
【复现】Grounding DINO使用记录
weixin_57974242的博客
09-21 1262
解决： 运行 python setup.py install 编译groundingdino库。2.SSHerror：忘了具体的报错名，总之是使用。解决：CUDA 配置错误，参考官方说明去解决。或者用cpu-only模式，不启用CUDA。，并修改代码中相关路径，指向本地存放路径。
groundingdino-swint-ogc.pth
08-02
groundingdino模型
【开放词汇检测】基于MMDetection的MM-Grounding-DINO实战
m0_47867638的博客
09-13 3407
基础环境：Ubuntu 22.04、CUDA 11.7Grounding-DINO 是一种先进的开放集检测模型，能够处理包括开放词汇检测（OVD）、短语定位（PG）和指代表达式理解（REC）在内的多种视觉任务。由于其有效性，Grounding-DINO 已被广泛采用为各种下游应用的主流架构。然而，尽管它意义重大，但由于训练代码的不可用性，原始的 Grounding-DINO 模型缺乏全面的公共技术细节。
Grounding DINO论文解读与代码调试
weixin_42479327的博客
03-12 7994
该模型2023.4月发布，是较新，效果很好的Open-Set Object Detection模型，很好玩，但直接做zero-shot还达不到工业部署的水平。我对它的整体评价也如GLIP一样。虽然比GLIP有提升，但效果还有继续提升空间。
探索无界物体检测：Grounding DINO 1.5 模型系列
gitblog_00058的博客
05-30 1389
探索无界物体检测：Grounding DINO 1.5 模型系列 Grounding-DINO-1.5-APIAPI for Grounding DINO 1.5: IDEA Research's Most Capable Open-World Object Detection Model Series项目地址:https://gitcode.com/gh_mirrors/gr/Groundin...
DETR-GROUNDING DINO、P TUNING简单总结
qq_41590821的博客
10-29 2015
在backbone中提取的4个不同尺度的特征送入transformer中的encoder中，但是，DETR的使用的是单尺度特征，而且使用的是三角函数，不同位置的（x、y）坐标会生成不同的位置编码。作者这里将DCN和DETR相结合，DETR收敛慢和计算量大，其主要的原因是transformer模块带来的频繁计算（每个位置需要计算和其他所有位置的相似度，而且不像卷积那样共享参数），那么很朴素的想法就是：让每个位置不必和所有位置交互计算，只需要和部分（学习来的，重要的部分）进行交互即可。
【开放集目标检测】Grounding DINO
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
07-07 5990
Grounding DINO：该方法融合了文本和图像两个模态的数据，实现了开放集目标检测，即给定一个文本提示，自动框出目标所在，该目标可以是训练集中没有的类别。该方法主要通过特征增强模块、语言指导查询选择模块、跨模态解码模块实现上述功能。
GroundingDINO-根据文本提示检测任意目标
sgzqc的专栏
12-30 2069
正如大家在本文开头的表格中所看到的，比GLIP推理速度更快，但在要求实时检测场景中考虑起来仍然推理速度太慢。然而，该模型可以在灵活性和泛化性很重要的任务中大放异彩，比如可以成功地用于自动化数据标注。此外，还可以通过使用语言约束而不是复杂且容易出错的手工组件来分析检测关系，从而大大简化图像和视频分析的处理逻辑。总之，无疑是一个重大突破，它将为物体检测及其他领域的更多创新应用铺平道路。
目标检测新SOTA，端侧实时识别，沈向洋罕见转发点赞
量子位
05-27 271
白交 发自 凹非寺量子位 | 公众号 QbitAI目标检测领域，迎来了新进展——Grounding DINO 1.5，IDEA研究院团队出品，在端侧就可实现实时识别。这一进展获得AI大佬沈向洋转发，他一般都是一年一转的节奏。此次发布主要有两个版本：Pro和Edge。Pro版更强，Edge版更快。它仍然保留了上一个版本Grounding DINO双编码器-单解码器结构，在此基础上通过结合更大的视觉 ...
drounding dino复现效果
03-18
### 改进 Grounding DINO 算法复现效果的方法 #### 数据增强策略 为了提升 Grounding DINO 的性能，可以引入更丰富的数据增强技术。除了标准的数据增强操作（如随机裁剪、翻转等），还可以考虑加入无标注的“纯阴性”样本进行训练[^1]。这些样本能够帮助模型更好地学习背景特征并减少假阳性的概率。 #### 调整超参数 针对具体应用场景调整超参数也是提高模型表现的重要手段之一。例如，在 DETR 和其变体中，Transformer 编码器解码器层数、隐藏单元数量以及注意力机制头数都会显著影响最终结果[^2]。因此建议基于实验逐步优化这些设置直到达到最佳平衡点为止。 #### 自监督预训练 利用自监督学习方法对视觉 transformer 进行预训练已被证明能有效改善下游任务的表现[^3]。如果条件允许的话，则可以在大规模未标记图片集合上先完成一次充分训练后再迁移到特定领域内的目标检测问题上来解决当前遇到的效果瓶颈情况。 ```python # 示例代码展示如何加载预训练权重到 grounding_dino 模型当中去 import torch from models import build_grounding_dino_model def load_pretrained_weights(model, pretrained_path): checkpoint = torch.load(pretrained_path) model.load_state_dict(checkpoint['model']) grounding_dino = build_grounding_dino_model() load_pretrained_weights(grounding_dino,"path/to/pretrained/weights.pth") ```
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值