yolo_world_pytorch实时开放词汇目标检测模型

YOLO-World

论文

YOLO-World: Real-Time Open-Vocabulary Object Detection

• https://arxiv.org/abs/2401.17270

模型结构

YOLO-World是一种实时开放词汇目标检测系统，它通过视觉-语言建模和大规模数据集上的预训练，增强了YOLO（You Only Look Once）系列检测器的开放词汇检测能力。该模型没有使用在线词汇表，而是提供了一个提示-检测范式，其中用户根据需要生成一系列提示，提示将被编码到离线词汇表中。然后可以将其重新参数化为模型权重，用于部署和进一步加速。

算法原理

YOLO-World包含一个YOLO检测器、一个文本编码器和一个可重参数化的视觉-语言路径聚合网络（RepVL-PAN）。给定输入文本，YOLO-World中的文本编码器将其编码为文本嵌入向量。YOLO检测器中的图像编码器从输入图像中提取多尺度特征，然后利用RepVL-PAN通过利用图像特征和文本嵌入向量之间的跨模态融合来增强文本和图像的表示。在推理过程中，可以移除文本编码器，并将文本嵌入重新参数化为RepVL-PAN的权重，以实现高效部署。

RepVL-PAN结构如下图，通过自顶向下和自底向上的方式，建立具有多尺度图像特征{C3, C4, C5}的特征金字塔{P3, P4, P5}。此外，提出了文本引导的CSPLayer（T-CSPLayer）和图像池化注意力（(I-Pooling Attention）来进一步增强图像特征和文本特征之间的交互作用，从而提高开放词汇表的视觉语义表示能力。在推理过程中，可以将脱机词汇表嵌入重新参数化为卷积层或线性层的权重，以进行部署。

环境配置

Docker（方法一）

此处提供光源拉取docker镜像的地址与使用步骤，以及光合开发者社区深度学习库下载地址

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.2-py3.10 
docker run -it --shm-size=128G -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal:/opt/hyhal:ro --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name yolo_world_pytorch  <your IMAGE ID> bash # <your IMAGE ID>为以上拉取的docker的镜像ID替换
cd /path/your_code_data/yolo_world_pytorch
pip install -r requirements.txt -i https://mirrors.a