YOLO-UniOW: 高效通用开放世界目标检测模型【附论文与源码】

最新推荐文章于 2025-04-02 17:16:35 发布
最新推荐文章于 2025-04-02 17:16:35 发布
阅读量1.2k 收藏 30
点赞数 9
分类专栏： 前沿视觉模型指南 文章标签： YOLO 目标检测 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42589613/article/details/146429998
版权

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】8.【基于深度学习的行人跌倒检测系统】
9.【基于深度学习的PCB板缺陷检测系统】10.【基于深度学习的生活垃圾分类目标检测系统】
11.【基于深度学习的安全帽目标检测系统】12.【基于深度学习的120种犬类检测与识别系统】
13.【基于深度学习的路面坑洞检测系统】14.【基于深度学习的火焰烟雾检测系统】
15.【基于深度学习的钢材表面缺陷检测系统】16.【基于深度学习的舰船目标分类检测系统】
17.【基于深度学习的西红柿成熟度检测系统】18.【基于深度学习的血细胞检测与计数系统】
19.【基于深度学习的吸烟/抽烟行为检测系统】20.【基于深度学习的水稻害虫检测与识别系统】
21.【基于深度学习的高精度车辆行人检测与计数系统】22.【基于深度学习的路面标志线检测与识别系统】
23.【基于深度学习的智能小麦害虫检测识别系统】24.【基于深度学习的智能玉米害虫检测识别系统】
25.【基于深度学习的200种鸟类智能检测与识别系统】26.【基于深度学习的45种交通标志智能检测与识别系统】
27.【基于深度学习的人脸面部表情识别系统】28.【基于深度学习的苹果叶片病害智能诊断系统】
29.【基于深度学习的智能肺炎诊断系统】30.【基于深度学习的葡萄簇目标检测系统】
31.【基于深度学习的100种中草药智能识别系统】32.【基于深度学习的102种花卉智能识别系统】
33.【基于深度学习的100种蝴蝶智能识别系统】34.【基于深度学习的水稻叶片病害智能诊断系统】
35.【基于与ByteTrack的车辆行人多目标检测与追踪系统】36.【基于深度学习的智能草莓病害检测与分割系统】
37.【基于深度学习的复杂场景下船舶目标检测系统】38.【基于深度学习的农作物幼苗与杂草检测系统】
39.【基于深度学习的智能道路裂缝检测与分析系统】40.【基于深度学习的葡萄病害智能诊断与防治系统】
41.【基于深度学习的遥感地理空间物体检测系统】42.【基于深度学习的无人机视角地面物体检测系统】
43.【基于深度学习的木薯病害智能诊断与防治系统】44.【基于深度学习的野外火焰烟雾检测系统】
45.【基于深度学习的脑肿瘤智能检测系统】46.【基于深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于深度学习的橙子病害智能诊断与防治系统】48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】66.【基于深度学习的安检X光危险品检测与识别系统】
67.【基于深度学习的农作物类别检测与识别系统】68.【基于深度学习的危险驾驶行为检测识别系统】
69.【基于深度学习的维修工具检测识别系统】70.【基于深度学习的维修工具检测识别系统】
71.【基于深度学习的建筑墙面损伤检测系统】72.【基于深度学习的煤矿传送带异物检测系统】
73.【基于深度学习的老鼠智能检测系统】74.【基于深度学习的水面垃圾智能检测识别系统】
75.【基于深度学习的遥感视角船只智能检测系统】76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】
79.【基于深度学习的果园苹果检测与计数系统】80.【基于深度学习的半导体芯片缺陷检测系统】
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】82.【基于深度学习的运动鞋品牌检测与识别系统】
83.【基于深度学习的苹果叶片病害检测识别系统】84.【基于深度学习的医学X光骨折检测与语音提示系统】
85.【基于深度学习的遥感视角农田检测与分割系统】86.【基于深度学习的运动品牌LOGO检测与识别系统】
87.【基于深度学习的电瓶车进电梯检测与语音提示系统】88.【基于深度学习的遥感视角地面房屋建筑检测分割与分析系统】
89.【基于深度学习的医学CT图像肺结节智能检测与语音提示系统】90.【基于深度学习的舌苔舌象检测识别与诊断系统】
91.【基于深度学习的蛀牙智能检测与语音提示系统】92.【基于深度学习的皮肤癌智能检测与语音提示系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

目录

在这里插入图片描述

论文地址：https://arxiv.org/abs/2412.20645
代码地址：https://github.com/THU-MIG/YOLO-UniOW

摘要

传统的目标检测模型受限于封闭数据集，只能检测训练时遇到的类别。尽管多模态模型通过对齐文本和图像模态扩展了类别识别能力，但由于跨模态融合引入了显著的推理开销，并且仍然受限于预定义的词汇表，因此在开放世界场景中处理未知对象时效果不佳。本文提出了通用开放世界目标检测（Uni-OWD），这是一种新的范式，统一了开放词汇和开放世界目标检测任务。为了应对这一挑战，我们提出了YOLO-UniOW，这是一种新颖的模型，提升了效率、多功能性和性能的边界。YOLO-UniOW引入了自适应决策学习（AdaDL），用CLIP潜在空间中的轻量级对齐替代了计算昂贵的跨模态融合，实现了高效检测而不牺牲泛化能力。此外，我们设计了通配符学习策略，能够将分布外对象检测为“未知”，同时支持动态词汇扩展，而无需增量学习。该设计使YOLO-UniOW能够无缝适应开放世界环境中的新类别。大量实验验证了YOLO-UniOW的优越性，在LVIS数据集上实现了34.6 AP和30.0 APr，推理速度为69.6 FPS。该模型还在M-OWODB、S-OWODB和nuScenes数据集上设立了新的基准，展示了其在开放世界目标检测中的卓越性能。

方法

在这里插入图片描述

Uni-OWD旨在统一开放词汇检测（OVD）和开放世界检测（OWOD）任务，使模型不仅能够识别训练时未见过的类别，还能将未知对象分类为“未知”。为了实现这一目标，YOLO-UniOW提出了以下关键方法：

  1. 自适应决策学习（AdaDL）：通过引入低秩适应（LoRA）技术，AdaDL在CLIP文本编码器中动态调整文本特征，使其能够更好地与图像特征对齐，从而在无需跨模态融合的情况下构建更有效的决策边界。

  2. 通配符学习：通过引入“未知”类别的通配符嵌入，模型能够检测不在预定义词汇表中的对象，并将其标记为“未知”。该策略通过自监督学习进行优化，能够动态适应新类别的出现。

  3. 高效的双头匹配：YOLO-UniOW基于YOLOv10的双头匹配机制，通过区域文本对比学习，确保模型在检测已知和未知对象时都能保持高效和准确。

创新点

在这里插入图片描述

  1. 统一开放词汇和开放世界检测：YOLO-UniOW首次将开放词汇检测和开放世界检测任务统一在一个模型中，解决了动态类别和未知目标识别的挑战。

  2. 自适应决策学习（AdaDL）：通过低秩适应技术，AdaDL在不增加计算开销的情况下，显著提升了模型在开放世界场景中的泛化能力。

  3. 通配符学习策略：该策略使模型能够检测未知对象，并支持动态词汇扩展，而无需进行增量学习，极大地提升了模型的适应性和扩展性。

实验结果

YOLO-UniOW在多个基准数据集上进行了广泛的实验验证，结果如下：
在这里插入图片描述

  1. LVIS数据集：在零样本设置下，YOLO-UniOW在LVIS数据集上实现了34.6 AP和30.0 APr，推理速度达到69.6 FPS，显著优于现有的开放词汇检测模型。

在这里插入图片描述
2. M-OWODB和S-OWODB数据集：在开放世界检测任务中，YOLO-UniOW在未知类别的召回率（U-Recall）和已知类别的mAP上均取得了显著提升，特别是在M-OWODB任务中，未知类别的召回率达到了80.6%。
在这里插入图片描述

3.nuScenes数据集：在自动驾驶场景中，YOLO-UniOW在未知类别的检测上表现优异，展示了其在复杂场景中的强大适应能力。

总结

YOLO-UniOW通过引入自适应决策学习和通配符学习策略，成功地将开放词汇检测和开放世界检测任务统一在一个高效的模型中。实验结果表明，YOLO-UniOW不仅在开放词汇检测任务中表现出色，还在开放世界检测任务中展现了卓越的性能和适应性。该模型为动态环境中的目标检测提供了新的解决方案，具有广泛的应用前景。



---

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/19a19b1d392944be90df72e4fa6b7b3d.png)



**好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！**
YOLO-World：缩小开放词汇下的目标检测检测速度和准确性之间的差距
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-21 5500
在不断发展的人工智能和计算机视觉领域中，YOLO-World作为一项突破性的发展出现，重塑了我们在目标检测方面的理解和能力。这种尖端方法扩展了YOLO（You Only Look Once）系列，通过整合开放词汇检测，允许更加动态和灵活地实时识别对象。最近在视觉-语言建模方面的进步为各个领域开启了前所未有的应用，从自动驾驶到高级监控系统。本文深入探讨了YOLO-World的机制、成就和潜力，标志着在AI驱动的目标检测技术中的一次重大飞跃。
【深度学习】YOLO-World: Real-Time Open-Vocabulary Object Detection，目标检测
q742971636的博客
04-08 3203
YOLO-World是一种实时开放词汇目标检测系统，它通过视觉-语言建模和大规模数据集上的预训练，增强了YOLO（You Only Look Once）系列检测器的开放词汇检测能力。具体来说，该研究提出了一个新的可重新参数化的视-语路径聚合网络（RepVL-PAN）和区域-文本对比损失函数，以促进视觉和语言信息之间的交互。YOLO-World在零样本方式下检测广泛对象类别方面表现出色，并且效率很高。
Yolo-Uniow开集目标检测本地复现
qq_44908396的博客
03-11 1215
本文主要记录Yolo-Uniow模型本地推理过程
YOLO-UniOW: Efficient Universal Open-World Object Detection——高效的通用开放世界目标检测
Together_CZ的博客
01-13 1025
YOLO-UniOW: Efficient Universal Open-World Object Detection——高效的通用开放世界目标检测
U版YOLO-World来了，YOLOv8再度升级，三行代码上手YOLO-World！
聚焦底层视觉处理，对相关基础AI技术持续学习
02-25 3267
欢迎关注AIWalker，近距离接触底层视觉与基础AI。
YOLO-World：开启开放场景对象检测的新纪元
gitblog_09783的博客
10-31 467
YOLO-World：开启开放场景对象检测的新纪元 【下载地址】YOLO-World完整代码资源 本仓库提供YOLO-World的完整代码资源，该资源是基于YOLO系列探测器的创新方法，旨在增强其在开放场景中的对象检测功能。YOLO-World通过视觉语言建模和大规模数据集的预训练，实现了高效的开放词汇对象检测 ...
【LVLMs】YOLO-UniOW: Efficient Universal Open-World Object Detection
最新发布
Hali_Botebie的博客
04-02 42
预训练大模型（如CLIP、GPT）├─ 传统全微调：高成本，需大量标注数据│ ├─ 手工提示：人工设计，灵活性低│ └─ 可学习提示（DetPro等）：动态适配任务└─ LoRA系列├─ 冻结原权重，仅训练低秩增量└─ CLIPLoRA：替代适配器/提示，高效微调VLMs这些技术共同推动了轻量化迁移学习的发展，使大模型能更高效地适应多样化下游任务。
【YOLO系列】IoU、GIoU、DIoU、CIoU详细解析
m0_55908255的博客
12-23 2058
IoU能够反映框与框之间的实际重叠质量，而不仅仅是数值上的距离差异（IoU的值在0~1之间，越靠近0说明重叠程度越低，越靠近1说明重叠程度更高，而MSE计算box损失时如果预测框与真实框差距很大的话，数值可能是无限的，范围是。：MSE主要关注框的位置和大小，不关心预测框与真实框的重叠程度，因此在预测框和真实框之间的重叠较少时，bbox定位损失项也可能很小，导致模型优化方向不准确。上图两个预测框与真实框的IoU都为0，但显然是预测框1的预测效果比预测框2更好的（因为预测框1与真实框。
Yolo-Uniow权重
03-11
目标检测模型通常用于自动视频监控、图像检索、人机交互等场景。其中，Yolo（You Only Look Once）是一种流行的目标检测算法，以其速度和准确性著称，在工业界和学术界都得到了广泛应用。 Yolo算法的核心思想在于将...
YOLO-World: Real-Time Open-Vocabulary Object Detection
猛码Memmat
02-02 2410
yolo-world
用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip
05-02
用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明....
干货大分享！目标检测开源神器与主流数据集概览
m0_49711991的博客
11-05 700
目标检测是计算机视觉中的一项核心任务，旨在识别图像或视频中的特定物体并为其定位。该任务不仅需要确定物体的类别，还要提供物体的边界框，以便准确框住目标。目标检测技术广泛应用于自动驾驶、监控系统、人机交互和图像检索等领域。本文精心汇总了目标检测技术的前沿开源模型与数据集资源，旨在加速开发人员的研究进程，轻松获取所需算法与数据。
YOLO-World ：实时开放词汇对象检测，前沿开集目标检测器！YOLOV8/计算机视觉/深度学习
Java_college的博客
04-08 2848
YOLO-World的实时开放词汇检测能力和优秀的性能使其成为了一个强大的工具，可用于各种需要快速准确对象检测的场景。YOLO在标准基准测试中，World 的速度和效率超过了现有的开放词汇检测器，包括 MDETR 和 GLIP 系列，展示了YOLOv8 在单个 NVIDIA V100 GPU 上的卓越性能。本节详细介绍了可用的模型及其特定的预训练权重、支持的任务以及与各种运行模式（如推理、验证、训练和导出）的兼容性，支持的模式用 ✅ 表示，不支持的模式用 ❌ 表示。可用型号、支持的任务和运行模式。
超越所有YOLO检测模型，mmdet开源当今最强最快目标检测模型！
weixin_40920183的博客
09-26 7071
首先，这里先声明一下由于论文和代码没有一并放出，所以以下内容全是个人学习RTMDet代码的一个结果，整个过程时间也比较紧凑，难免会有所遗漏和错误，一切关于RTMDet的工作，最终以OpenMMLab官方论文为主，因为看到开源代码的速度表，小编很难不爱，小模型就可以把YOLO全系列按在地上摩擦，因此也就有了下面的故事。0、直接上架构图吧！看着上面的图，熟悉不？是不是满满的YOLO系列的味道？是的，看...
目标检测开源代码汇总 object detection algorithm codes
宝宝的宝宝爱写代码
04-01 1882
https://blog.csdn.net/zhangjunhit/article/details/78901952
四大开源目标检测框架
Never__Say__No的博客
11-20 1763
Detectron2 维护团队：Facebook 所属框架：PyTorch https://github.com/facebookresearch/detectron2 基于Detectron2二次开发的开源项目 AdelaiDet：实例级识别任务开源工具箱 https://github.com/aim-uofa/AdelaiDet 这个项目后面 Amusi 会单独写一篇文章来介绍，AdelaiDet 主要是阿德莱德大学沈春华团队维护的项目，涉及目标检测、实例分割、文本检测等方向。比如包含了SOLOv1-v
目标检测开源代码汇总 object detection algorithm codes
热门推荐
AI小作坊 的博客
12-26 1万+
目标检测 Faster RCNN + SSD Single-Shot Refinement Neural Network for Object Detection https://github.com/sfzhang15/RefineDet目标检测 A Unified Multi-scale Deep Convolutional Neural Network for Fast Objec
YOLO-UniOW
01-13
### YOLO-UniOW 介绍 YOLO-UniOW 是基于YOLO系列算法开发的一个通用物体检测框架，旨在提供更便捷、高效的物体识别解决方案。该工具不仅支持多种预训练模型的选择，还允许用户自定义类别进行特定场景下的目标检测[^1]。 ### 使用教程 对于希望利用YOLO-UniOW开展工作的开发者而言，获取并运行此工具涉及几个重要环节： #### 下载与安装 要开始使用YOLO-UniOW，需先访问官方推荐的资源站点如Hugging Face下载所需的权重文件，并依据项目文档说明将其存放在规定位置。完成上述操作后，可通过Python包管理器pip来安装必要的依赖库。 ```bash pip install ultralytics ``` #### 配置环境 确保本地计算环境中已正确设置CUDA版本以及PyTorch等相关组件，以便充分利用GPU加速性能。此外，还需确认所使用的操作系统满足最低兼容性要求[^3]。 #### 示例代码展示 下面给出一段简单的Python脚本用于加载预训练好的YOLO-UniOW模型并对图片执行推理过程： ```python from ultralytics import YOLOWorld # Initialize a YOLO-World model model = YOLOWorld('yolov8s-univow.pt') # Load pre-trained weights specific to UniOW variant model.set_classes(["car", "bike"]) # Customize detection classes as needed results = model.predict('example_image.jpg') # Perform prediction on an image file results[0].show() # Display the result of object detection visually ``` 通过这段代码可以看出，在初始化`YOLOWorld`类实例时指定了适用于UniOW变体的`.pt`格式参数文件；接着设置了想要探测的目标种类列表；最后调用了`predict()`方法传入待分析图像路径，并借助`show()`函数直观呈现最终输出效果[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿_旭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值