YOLO-UniOW: 高效通用开放世界目标检测模型【附论文与源码】

最新推荐文章于 2025-05-13 22:15:32 发布
最新推荐文章于 2025-05-13 22:15:32 发布
阅读量1.3k 收藏 31
点赞数 9
分类专栏： 前沿视觉模型指南 文章标签： YOLO 目标检测 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42589613/article/details/146429998
版权

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】8.【基于深度学习的行人跌倒检测系统】
9.【基于深度学习的PCB板缺陷检测系统】10.【基于深度学习的生活垃圾分类目标检测系统】
11.【基于深度学习的安全帽目标检测系统】12.【基于深度学习的120种犬类检测与识别系统】
13.【基于深度学习的路面坑洞检测系统】14.【基于深度学习的火焰烟雾检测系统】
15.【基于深度学习的钢材表面缺陷检测系统】16.【基于深度学习的舰船目标分类检测系统】
17.【基于深度学习的西红柿成熟度检测系统】18.【基于深度学习的血细胞检测与计数系统】
19.【基于深度学习的吸烟/抽烟行为检测系统】20.【基于深度学习的水稻害虫检测与识别系统】
21.【基于深度学习的高精度车辆行人检测与计数系统】22.【基于深度学习的路面标志线检测与识别系统】
23.【基于深度学习的智能小麦害虫检测识别系统】24.【基于深度学习的智能玉米害虫检测识别系统】
25.【基于深度学习的200种鸟类智能检测与识别系统】26.【基于深度学习的45种交通标志智能检测与识别系统】
27.【基于深度学习的人脸面部表情识别系统】28.【基于深度学习的苹果叶片病害智能诊断系统】
29.【基于深度学习的智能肺炎诊断系统】30.【基于深度学习的葡萄簇目标检测系统】
31.【基于深度学习的100种中草药智能识别系统】32.【基于深度学习的102种花卉智能识别系统】
33.【基于深度学习的100种蝴蝶智能识别系统】34.【基于深度学习的水稻叶片病害智能诊断系统】
35.【基于与ByteTrack的车辆行人多目标检测与追踪系统】36.【基于深度学习的智能草莓病害检测与分割系统】
37.【基于深度学习的复杂场景下船舶目标检测系统】38.【基于深度学习的农作物幼苗与杂草检测系统】
39.【基于深度学习的智能道路裂缝检测与分析系统】40.【基于深度学习的葡萄病害智能诊断与防治系统】
41.【基于深度学习的遥感地理空间物体检测系统】42.【基于深度学习的无人机视角地面物体检测系统】
43.【基于深度学习的木薯病害智能诊断与防治系统】44.【基于深度学习的野外火焰烟雾检测系统】
45.【基于深度学习的脑肿瘤智能检测系统】46.【基于深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于深度学习的橙子病害智能诊断与防治系统】48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】66.【基于深度学习的安检X光危险品检测与识别系统】
67.【基于深度学习的农作物类别检测与识别系统】68.【基于深度学习的危险驾驶行为检测识别系统】
69.【基于深度学习的维修工具检测识别系统】70.【基于深度学习的维修工具检测识别系统】
71.【基于深度学习的建筑墙面损伤检测系统】72.【基于深度学习的煤矿传送带异物检测系统】
73.【基于深度学习的老鼠智能检测系统】74.【基于深度学习的水面垃圾智能检测识别系统】
75.【基于深度学习的遥感视角船只智能检测系统】76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】
79.【基于深度学习的果园苹果检测与计数系统】80.【基于深度学习的半导体芯片缺陷检测系统】
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】82.【基于深度学习的运动鞋品牌检测与识别系统】
83.【基于深度学习的苹果叶片病害检测识别系统】84.【基于深度学习的医学X光骨折检测与语音提示系统】
85.【基于深度学习的遥感视角农田检测与分割系统】86.【基于深度学习的运动品牌LOGO检测与识别系统】
87.【基于深度学习的电瓶车进电梯检测与语音提示系统】88.【基于深度学习的遥感视角地面房屋建筑检测分割与分析系统】
89.【基于深度学习的医学CT图像肺结节智能检测与语音提示系统】90.【基于深度学习的舌苔舌象检测识别与诊断系统】
91.【基于深度学习的蛀牙智能检测与语音提示系统】92.【基于深度学习的皮肤癌智能检测与语音提示系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

目录

在这里插入图片描述

论文地址：https://arxiv.org/abs/2412.20645
代码地址：https://github.com/THU-MIG/YOLO-UniOW

摘要

传统的目标检测模型受限于封闭数据集，只能检测训练时遇到的类别。尽管多模态模型通过对齐文本和图像模态扩展了类别识别能力，但由于跨模态融合引入了显著的推理开销，并且仍然受限于预定义的词汇表，因此在开放世界场景中处理未知对象时效果不佳。本文提出了通用开放世界目标检测（Uni-OWD），这是一种新的范式，统一了开放词汇和开放世界目标检测任务。为了应对这一挑战，我们提出了YOLO-UniOW，这是一种新颖的模型，提升了效率、多功能性和性能的边界。YOLO-UniOW引入了自适应决策学习（AdaDL），用CLIP潜在空间中的轻量级对齐替代了计算昂贵的跨模态融合，实现了高效检测而不牺牲泛化能力。此外，我们设计了通配符学习策略，能够将分布外对象检测为“未知”，同时支持动态词汇扩展，而无需增量学习。该设计使YOLO-UniOW能够无缝适应开放世界环境中的新类别。大量实验验证了YOLO-UniOW的优越性，在LVIS数据集上实现了34.6 AP和30.0 APr，推理速度为69.6 FPS。该模型还在M-OWODB、S-OWODB和nuScenes数据集上设立了新的基准，展示了其在开放世界目标检测中的卓越性能。

方法

在这里插入图片描述

Uni-OWD旨在统一开放词汇检测（OVD）和开放世界检测（OWOD）任务，使模型不仅能够识别训练时未见过的类别，还能将未知对象分类为“未知”。为了实现这一目标，YOLO-UniOW提出了以下关键方法：

  1. 自适应决策学习（AdaDL）：通过引入低秩适应（LoRA）技术，AdaDL在CLIP文本编码器中动态调整文本特征，使其能够更好地与图像特征对齐，从而在无需跨模态融合的情况下构建更有效的决策边界。

  2. 通配符学习：通过引入“未知”类别的通配符嵌入，模型能够检测不在预定义词汇表中的对象，并将其标记为“未知”。该策略通过自监督学习进行优化，能够动态适应新类别的出现。

  3. 高效的双头匹配：YOLO-UniOW基于YOLOv10的双头匹配机制，通过区域文本对比学习，确保模型在检测已知和未知对象时都能保持高效和准确。

创新点

在这里插入图片描述

  1. 统一开放词汇和开放世界检测：YOLO-UniOW首次将开放词汇检测和开放世界检测任务统一在一个模型中，解决了动态类别和未知目标识别的挑战。

  2. 自适应决策学习（AdaDL）：通过低秩适应技术，AdaDL在不增加计算开销的情况下，显著提升了模型在开放世界场景中的泛化能力。

  3. 通配符学习策略：该策略使模型能够检测未知对象，并支持动态词汇扩展，而无需进行增量学习，极大地提升了模型的适应性和扩展性。

实验结果

YOLO-UniOW在多个基准数据集上进行了广泛的实验验证，结果如下：
在这里插入图片描述

  1. LVIS数据集：在零样本设置下，YOLO-UniOW在LVIS数据集上实现了34.6 AP和30.0 APr，推理速度达到69.6 FPS，显著优于现有的开放词汇检测模型。

在这里插入图片描述
2. M-OWODB和S-OWODB数据集：在开放世界检测任务中，YOLO-UniOW在未知类别的召回率（U-Recall）和已知类别的mAP上均取得了显著提升，特别是在M-OWODB任务中，未知类别的召回率达到了80.6%。
在这里插入图片描述

3.nuScenes数据集：在自动驾驶场景中，YOLO-UniOW在未知类别的检测上表现优异，展示了其在复杂场景中的强大适应能力。

总结

YOLO-UniOW通过引入自适应决策学习和通配符学习策略，成功地将开放词汇检测和开放世界检测任务统一在一个高效的模型中。实验结果表明，YOLO-UniOW不仅在开放词汇检测任务中表现出色，还在开放世界检测任务中展现了卓越的性能和适应性。该模型为动态环境中的目标检测提供了新的解决方案，具有广泛的应用前景。



---

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/19a19b1d392944be90df72e4fa6b7b3d.png)



**好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！**
YOLO-World：缩小开放词汇下的目标检测检测速度和准确性之间的差距
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-21 5532
在不断发展的人工智能和计算机视觉领域中，YOLO-World作为一项突破性的发展出现，重塑了我们在目标检测方面的理解和能力。这种尖端方法扩展了YOLO（You Only Look Once）系列，通过整合开放词汇检测，允许更加动态和灵活地实时识别对象。最近在视觉-语言建模方面的进步为各个领域开启了前所未有的应用，从自动驾驶到高级监控系统。本文深入探讨了YOLO-World的机制、成就和潜力，标志着在AI驱动的目标检测技术中的一次重大飞跃。
【深度学习】YOLO-World: Real-Time Open-Vocabulary Object Detection，目标检测
q742971636的博客
04-08 3255
YOLO-World是一种实时开放词汇目标检测系统，它通过视觉-语言建模和大规模数据集上的预训练，增强了YOLO（You Only Look Once）系列检测器的开放词汇检测能力。具体来说，该研究提出了一个新的可重新参数化的视-语路径聚合网络（RepVL-PAN）和区域-文本对比损失函数，以促进视觉和语言信息之间的交互。YOLO-World在零样本方式下检测广泛对象类别方面表现出色，并且效率很高。
Yolo-Uniow开集目标检测本地复现
qq_44908396的博客
03-11 1291
本文主要记录Yolo-Uniow模型本地推理过程
YOLO-UniOW: Efficient Universal Open-World Object Detection——高效的通用开放世界目标检测
Together_CZ的博客
01-13 1105
YOLO-UniOW: Efficient Universal Open-World Object Detection——高效的通用开放世界目标检测
【LVLMs】YOLO-UniOW: Efficient Universal Open-World Object Detection
Hali_Botebie的博客
04-02 94
预训练大模型（如CLIP、GPT）├─ 传统全微调：高成本，需大量标注数据│ ├─ 手工提示：人工设计，灵活性低│ └─ 可学习提示（DetPro等）：动态适配任务└─ LoRA系列├─ 冻结原权重，仅训练低秩增量└─ CLIPLoRA：替代适配器/提示，高效微调VLMs这些技术共同推动了轻量化迁移学习的发展，使大模型能更高效地适应多样化下游任务。
统一开放世界与开放词汇检测：YOLO-UniOW无需增量学习的高效通用开放世界目标检测框架
CooVally_AI的博客
03-21 1385
目录一、摘要二、引言三、相关工作开放词汇对象检测开放世界目标检测参数高效学习四、高效通用的开放世界目标检测问题定义高效的自适应决策学习开放世界通配符学习五、Coovally AI模型训练与应用平台六、实验数据集评价指标实施细节定量结果消融研究定性结果结论传统的目标检测模型受到封闭数据集的限制，只能检测训练过程中遇到的类别。虽然多模态模型通过对齐文本和图像模态扩展了类别识别，但由于跨模态融合，它们引入了大量过度推理，而且仍然受到预定义词汇的限制，使它们无法有效地识别开放世界场景中的未知物体。在这项工作中，我们
U版YOLO-World来了，YOLOv8再度升级，三行代码上手YOLO-World！
聚焦底层视觉处理，对相关基础AI技术持续学习
02-25 3328
欢迎关注AIWalker，近距离接触底层视觉与基础AI。
通用检测模型合集
whaosoft143ai的博客
12-22 574
其中，基于注意力的伪标记方案是主要来获取候选未知查询的，从中间特征的注意力图上求取各个查询的平均分数（比如a-e），然后再用top-k来分配是不是物体，此阶段只区分unknown和no-objects两类，上图中a,b,c是unknown类别，d,e是非目标类别。论文的开放世界目标检测模型使用基于能量的分类头和对未知类别敏感的RPN来识别潜在的未知对象，此外，在特征空间中进行对比学习，以学习有区分性的聚类，并可以灵活地以连续的方式添加新的类别，而不会遗忘先前的类别。然后，查询的目标分数用于识别伪未知对象。
Yolo-Uniow权重
03-11
目标检测模型通常用于自动视频监控、图像检索、人机交互等场景。其中，Yolo（You Only Look Once）是一种流行的目标检测算法，以其速度和准确性著称，在工业界和学术界都得到了广泛应用。 Yolo算法的核心思想在于将...
YOLO-World: Real-Time Open-Vocabulary Object Detection
猛码Memmat
02-02 2425
yolo-world
用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip
05-02
用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明....
通用检测大模型 | GLEE：开放世界检测&分割开放的一切！
CV_Autobot的博客
12-20 2781
作者|AIWalker 编辑| 极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【大模型】技术交流群本文只做学术分享，如有侵权，联系删文导读通过一个统一的框架，GLEE可以在开放世界场景中完成任意物体的检测、分割、跟踪、接地和识别，以完成各种物体感知任务。论文链接：https://arxiv.org/abs/2312.09158代码链接：h...
YOLO-World：开启开放场景对象检测的新纪元
gitblog_09783的博客
10-31 473
YOLO-World：开启开放场景对象检测的新纪元 【下载地址】YOLO-World完整代码资源 本仓库提供YOLO-World的完整代码资源，该资源是基于YOLO系列探测器的创新方法，旨在增强其在开放场景中的对象检测功能。YOLO-World通过视觉语言建模和大规模数据集的预训练，实现了高效的开放词汇对象检测 ...
【YOLO系列】IoU、GIoU、DIoU、CIoU详细解析
m0_55908255的博客
12-23 2135
IoU能够反映框与框之间的实际重叠质量，而不仅仅是数值上的距离差异（IoU的值在0~1之间，越靠近0说明重叠程度越低，越靠近1说明重叠程度更高，而MSE计算box损失时如果预测框与真实框差距很大的话，数值可能是无限的，范围是。：MSE主要关注框的位置和大小，不关心预测框与真实框的重叠程度，因此在预测框和真实框之间的重叠较少时，bbox定位损失项也可能很小，导致模型优化方向不准确。上图两个预测框与真实框的IoU都为0，但显然是预测框1的预测效果比预测框2更好的（因为预测框1与真实框。
干货大分享！目标检测开源神器与主流数据集概览
m0_49711991的博客
11-05 730
目标检测是计算机视觉中的一项核心任务，旨在识别图像或视频中的特定物体并为其定位。该任务不仅需要确定物体的类别，还要提供物体的边界框，以便准确框住目标。目标检测技术广泛应用于自动驾驶、监控系统、人机交互和图像检索等领域。本文精心汇总了目标检测技术的前沿开源模型与数据集资源，旨在加速开发人员的研究进程，轻松获取所需算法与数据。
YOLO-World ：实时开放词汇对象检测，前沿开集目标检测器！YOLOV8/计算机视觉/深度学习
Java_college的博客
04-08 2903
YOLO-World的实时开放词汇检测能力和优秀的性能使其成为了一个强大的工具，可用于各种需要快速准确对象检测的场景。YOLO在标准基准测试中，World 的速度和效率超过了现有的开放词汇检测器，包括 MDETR 和 GLIP 系列，展示了YOLOv8 在单个 NVIDIA V100 GPU 上的卓越性能。本节详细介绍了可用的模型及其特定的预训练权重、支持的任务以及与各种运行模式（如推理、验证、训练和导出）的兼容性，支持的模式用 ✅ 表示，不支持的模式用 ❌ 表示。可用型号、支持的任务和运行模式。
论文精读：YOLO-UniOW: Efficient Universal Open-World Object Detection
最新发布
wulele2的博客
05-13 1380
Yolo-uniow开源地址。总体来说结合起来挺有意思，从另一个角度来解决open-world问题。
YOLO-UniOW
01-13
### YOLO-UniOW 介绍 YOLO-UniOW 是基于YOLO系列算法开发的一个通用物体检测框架，旨在提供更便捷、高效的物体识别解决方案。该工具不仅支持多种预训练模型的选择，还允许用户自定义类别进行特定场景下的目标检测[^1]。 ### 使用教程 对于希望利用YOLO-UniOW开展工作的开发者而言，获取并运行此工具涉及几个重要环节： #### 下载与安装 要开始使用YOLO-UniOW，需先访问官方推荐的资源站点如Hugging Face下载所需的权重文件，并依据项目文档说明将其存放在规定位置。完成上述操作后，可通过Python包管理器pip来安装必要的依赖库。 ```bash pip install ultralytics ``` #### 配置环境 确保本地计算环境中已正确设置CUDA版本以及PyTorch等相关组件，以便充分利用GPU加速性能。此外，还需确认所使用的操作系统满足最低兼容性要求[^3]。 #### 示例代码展示 下面给出一段简单的Python脚本用于加载预训练好的YOLO-UniOW模型并对图片执行推理过程： ```python from ultralytics import YOLOWorld # Initialize a YOLO-World model model = YOLOWorld('yolov8s-univow.pt') # Load pre-trained weights specific to UniOW variant model.set_classes(["car", "bike"]) # Customize detection classes as needed results = model.predict('example_image.jpg') # Perform prediction on an image file results[0].show() # Display the result of object detection visually ``` 通过这段代码可以看出，在初始化`YOLOWorld`类实例时指定了适用于UniOW变体的`.pt`格式参数文件；接着设置了想要探测的目标种类列表；最后调用了`predict()`方法传入待分析图像路径，并借助`show()`函数直观呈现最终输出效果[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿_旭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值