U版YOLO-World来了，YOLOv8再度升级，三行代码上手YOLO-World！

最新推荐文章于 2024-07-21 20:17:12 发布

AIWalker-Happy

最新推荐文章于 2024-07-21 20:17:12 发布

阅读量2.3k

点赞数 23

分类专栏： YOLO 目标检测文章标签： YOLO 目标检测

本文链接：https://blog.csdn.net/huohu728/article/details/136279339

版权

YOLO 同时被 2 个专栏收录

6 篇文章 1 订阅

订阅专栏

目标检测

6 篇文章 0 订阅

订阅专栏

本文首发：AIWalker
欢迎关注AIWalker，近距离接触底层视觉与基础AI

https://arxiv.org/abs/2401.17270
https://github.com/AILab-CVC/YOLO-World
https://github.com/ultralytics/ultralytics
https://www.yoloworld.cc/

YOLO-World亮点

YOLO-World是下一代YOLO检测器，旨在实时开放词汇对象检测。
YOLO-World在大规模视觉语言数据集上进行了预训练，包括Objects 365，GQA，Flickr 30 K和CC 3 M，这使得YOLO-World具有强大的zero-shot开集Capbility与Grounding能力。
YOLO-World实现了快速的推理速度；可以对用户给定词汇，所提重新参数化技术进一步加速推理和部署；

YOLO-World方案

上图为YOLO-World整体架构示意图，它包含一个YOLO检测器、一个文本编码器以及RepVL-PAN。文本编码器首先将输入文本编码为文本嵌入信息；图像编码器对基于输入图像提取多尺度特征信息；RepVL-PAN通过跨模态融合增强文本与图像表征。

YOLO Detector：编码器基于YOLOv8演变而来，YOLOv8由DarkNet骨干、PAN多尺度特征融合以及检测头构成；
Text Encoder：采用CLIP预训练文本编码器对输入文本T提取对应的文本嵌入 $\text{TextEncoder}(T) \in \mathbb{R}^{C \times D}$ ，这里C表示名词数目，D表示嵌入维度。相比于Text语言编码器，CLIP文本编码器可以提供更好的视觉-语义能力。当输入文本是句子时，我们采用n-gram算法提取名词短词并送入本文编码器。
Text Contrastive Head：延续YOLOv8，我们采用解耦头对边框 ${b_k\}_{k=1}^K$ 与目标嵌入 ${e_k\}_{k=1}^K$ 进行回归。作者提出文本对比头(Text Contrastive Head)计算目标-文本相似度 $s_{k,j}$ ，定义如下：

$s_{k,j} = \alpha \cdot \text{L2-Norm}(e_k) \cdot \text{L2-Norm}(w_j)^{T} + \beta$

注：这里的L2-Norm与仿生变换参数对于稳定区域-本文训练非常重要。

Training with Online Vocabulary：在训练过策划肝囊肿，我们为每个Mosaic图像构建一个在线词汇集合T。具体来说，我们采样所有包含在Mosaic图像中的正名词短语，然后从对应数据集中随机采样一些负名词短语。每个Mosaic图像最多包含M个词汇，默认M=80。
Inference with Offline Vocabulary：在推理阶段，我们提出了一种基于离线词汇集合的prompt-then-detect策略以进一步提升效率。用户也可以自定义一些客制化提示信息[可选]，然后采用文本编码器对这些提示信息进行编码得到离线嵌入包。离线词汇可以避免对每个输入都进行文本编码计算，为词汇调整提供了更灵活的调控机制。

更详细介绍请参考：YOLO-World | 赋能YOLOv8开集检测能力，构建新一代YOLO新标杆

上手测试

官方YOLO-World是基于mmyolo, mmdetection实现的，但U1S1，mm系列对于入门确实不错，但对于新开源算法上手测试真心难用，毒瘤啊[mmcv的ops这个鬼东西啊]~

好消息来了！ultralytics支持YOLO-World了，可以直接通过ultralytics库来玩YOLO-world了

使用方式简单到了极致，几行命令即可，还不需要安装一大堆的mm包，不需要编译各种无关op，牛逼克拉斯~

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld('yolov8s-world.pt')  

# Execute inference with the YOLOv8s-world on the specified image
results = model.predict('bus.jpg')

# Show results
results[0].show()

就是这么的简单好用，三行代码完成测试！

那么，YOLO-World的Prompts功能该如何测试呢？同样非常简单，新增一行代码即可，代码如下：

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld('yolov8s-world.pt')  

# Define custom classes
model.set_classes(["person"])
    
# Execute inference with the YOLOv8s-world on the specified image
results = model.predict('bus.jpg')

# Show results
results[0].show()

就这么一行代码改动，YOLO-World就变成了行人检测器，