本文介绍了YOLO-World模型，一种基于YOLOv8的先进实时开放词汇检测技术，具有文本输入、多模态融合和低计算需求的特点。文章详细讲解了模型结构、创新点，如实时预测、自定义类别检测以及如何保存模型以适应特定任务。
《博主简介》
小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~
👍感谢小伙伴们点赞、关注！
《------往期经典推荐------》
二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~
《------正文------》
1.模型简介
源码地址：https://github.com/AILab-CVC/YOLO-World
YOLO-World模型引入了基于开放词汇检测任务的先进实时方法，同时采用了视觉语言建模和在大量数据集上进行预训练的方法，能够以无与伦比的效率在零样本场景中出色地识别大量物体。这项创新可根据描述性文本检测图像中的任何物体。YOLO-World 可大幅降低计算要求，同时保持极具竞争力的性能，是众多视觉应用的多功能工具。
2.模型结构与创新点
与传统的YOLO检测器相比，YOLO-World作为一个开放词汇表检测器，可采用文本作为输入，文本编码器首先编码输入的文本。然后将输入图像编码成多尺度图像特征，RepVL-PAN算法利用图像和文本特征的多级交叉模态融合。最后，YOLO-World预测了回归边界框和对象编码，以匹配输入文本中出现的类别或名词。
核心创新点：
实时解决方案：利用 CNN 的计算速度，YOLO-World 可提供快速的开放词汇检测解决方案，满足各行业对即时结果的需求。
效率和性能： YOLO-World 可在不牺牲性能的前提下降低计算和资源需求，提供了一种可替代SAM 等模型的强大功能，但计算成本仅为它们的一小部分，从而支持实时应用。
利用离线词汇进行推理： YOLO-World 引入了 "先提示后检测 "的策略，利用离线词汇进一步提高效率。这种方法可以使用预先计算的自定义提示，包括标题或类别，并将其编码和存储为离线词汇嵌入，从而简化检测过程。
由YOLOv8 支持：基于 Ultralytics YOLOv8的YOLO-World 利用实时对象检测方面的最新进展，以无与伦比的准确性和速度促进开放词汇检测。
卓越的基准测试： YOLO在标准基准测试中，World 的速度和效率超过了现有的开放词汇检测器，包括 MDETR 和 GLIP 系列，展示了YOLOv8 在单个 NVIDIA V100 GPU 上的卓越性能。
应用广泛： YOLO-World 的创新方法为众多视觉任务带来了新的可能性，与现有方法相比，速度提高了几个数量级。
2.使用方法
2.1 使用模型推理预测
直接使用官方的预训练模型进行推理预测,默认检测所有类别。
from ultralytics import YOLOWorld
# 加载模型
model = YOLOWorld('yolov8s-world.pt')
# 推理预测
results = model.predict('TestFiles/bus.jpg')
# 显示结果
results[0].show()
2.2 自定义词汇推理
YOLO-World 框架允许通过自定义提示指定类别，使用户能够根据自己的特定需求定制模型，而无需重新训练。这一功能对于调整模型以适应新领域或特定任务（这些任务最初并不属于训练数据的一部分）尤其有用。通过设置自定义提示词汇，用户基本上可以引导模型关注感兴趣的对象，从而提高检测结果的相关性和准确性。
通过使用model.set_classes(["fish"])方法在列表中填入需要进行检测的目标名称，即可对指定目标进行检测。此处自定义了一个鱼的类别["fish"]，进行检测演示。
from ultralytics import YOLO
# 加载模型
model = YOLO('PreModels/yolov8s-worldv2.pt')
# 定义检测类别
model.set_classes(["fish"])
# 推理
results = model.predict('TestFiles/121.png')
# Show results
results[0].show()
如果只需要检测 "人 "和 "公共汽车 "对象，可以直接指定这些类model.set_classes(["person", "bus"])：
from ultralytics import YOLO
# Initialize a YOLO-World model
model = YOLO('yolov8s-world.pt') # or choose yolov8m/l-world.pt
# Define custom classes
model.set_classes(["person", "bus"])
# Execute prediction for specified categories on an image
results = model.predict('bus.jpg')
# Show results
results[0].show()
可以看到，对比2.1节中不设置检测对象的检测结果，这里并没有将交通标志检测并且标记出来，只对人与公交车进行了检测。
2.3 自定义词汇类别保存模型
可以在设置自定义类后保存模型。这样就可以创建一个YOLO-World 模型版本，专门用于特定目标检测。
首先加载YOLO-World 模型，为其设置自定义类并保存：
from ultralytics import YOLO
# 加载预训练模型
model = YOLO('yolov8s-world.pt')
# 定义检测类别
model.set_classes(["person", "bus"])
# 保存模型
model.save("custom_yolov8s.pt")
保存后custom_yolov8s.pt 模型的行为与其他预训练的YOLOv8 模型无异，但有一个关键区别：它现在经过优化，只能检测您定义的类别。针对您的特定应用场景，这种定制可以大大提高检测性能和效率。
使用保存后的模型进行推理预测：
from ultralytics import YOLO
# 加载保存的模型
model = YOLO('custom_yolov8s.pt')
# 使用模型进行推理
results = model.predict('bus.jpg')
# 显示结果
results[0].show()
使用自定义词汇保存的优点
效率高：通过关注相关对象、减少计算开销和加快推理速度，简化检测过程。
灵活性更好：可使模型轻松适应新的或特殊的检测任务，而无需进行大量的再培训或数据收集。
简单便捷：无需在运行时重复指定自定义类，从而简化了部署，使模型可直接使用其嵌入式词汇。
性能更高:通过将模型的注意力和资源集中在识别定义的对象上，提高指定类别的检测精度。
好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！
扫一扫
897
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
