膜拜！YOLO-World这下是真的杀疯了！直接加速20倍！

于 2024-09-10 13:05:38 发布
阅读量151 收藏
点赞数
文章标签： YOLO 目标跟踪 人工智能 计算机视觉 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247682129&idx=1&sn=a4dd984d602aecc591bf0b01f8cec9b1&chksm=97de5b51f4b5c13b851c6f48e019d5c441bfbdfe6e55c7f7ee18111cf782b9c0e23481f40d73&scene=126&sessionid=0
版权

多模态时代，开放词汇目标检测，正在超越Faster R-CNN、DETR、YOLOs等传统方法，成为极具潜力的研究方向，近两年顶会创新也层出不穷，腾讯重磅发布不久的YOLO-World，便是一种先进的开放词汇检测器，基于简洁高效的YOLOv8架构，通过视觉语言建模，以及大规模数据集的预训练，能够识别并定位训练集中未出现的新类别物体，具备超强的零样本及泛化性能，部署轻便！

3431a3f6a76f40c9d61e7f77c3897a8b.png

为了帮助大家掌握YOLO-World，研梦非凡于9月10日晚（周二），邀请了CV领域资深算法工程师Frank导师，独家详解CVPR'24收录工作《YOLO-World：实时开放词汇目标检测》（AI前沿直播课NO.66），从传统目标检测回顾，到开放词汇/开集目标检测介绍，重点讲解YOLO-World主要贡献、网络结构及算法原理，并代码演示如何使用YOLO-World，1节课速通开放词汇目标检测，get论文改进和求职面试知识点！

👇🏻扫描二维码找助教0元预约直播课！

346ed72a63101a436ec135b0f2f090bd.png

1c0344e7e30a2f76cbca6bc549a4a949.gif

unsetunset本节直播课内容概览unsetunset

01 开放词汇目标检测和开集目标检测

  1. 传统目标检测算法及不足

  • YOLO系列检测器高效实用

  • 缺点1：受限于预定义和训练的物体类别

  • 缺点2：新类别可能错误归为有限类别的一种

  1. 开放词汇目标检测（OVOD）

  • 概念：检测和识别未在训练集中明确标注的物体类别

  • 特点1：视觉特征提取（ResNet或ViT）

  • 特点2：文本嵌入（BERT或CLIP文本编码器）

  • 特点3：视觉-语言匹配

  • 特点4：多模态融合（注意力机制、自监督学习等）

  1. 开集目标检测（OSOD）

  • 概念：与OVOD类似

  • 区别：与OVOD不同，识别出未知类别后，不再继续判断

02 YOLO-World简介

  1. YOLO-World主要贡献

  • 先进的开放词汇对象检测器

  • 可重新参数化的视觉-语言路径聚合网络

  • 开放词汇区域-文本对比的预训练方案

  • 强大的零样本性能，在LVIS上达到35.4 AP和52.0 FPS

  1. YOLO-World网络结构

👇🏻扫描二维码找助教0元预约直播课！

d2360706a68831b444cb03b025d415c9.png

凡预约即可免费领取170篇目标检测精选论文（开放词汇/YOLO系列/顶会收录等）+文末还有算力等科研福利！

03 YOLO-World算法原理（重点）

  1. YOLO Detector

  • 基于YOLOv8开发

  • 主要包括Darknet骨干、路径聚合网络（PAN）、Head结构

  1. Text Encoder

  • 采用CLIP预训练的Transformer文本编码器

  • 提供了更好的视觉语义能力

  1. Re-parameterizable Vision-Language PAN（RepVL-PAN）

  • 通过多尺度图像特征建立特征金字塔

  • 通过文本引导CSPLayer和图像池注意，进一步增强图像特征和文本特征之间的交互

  • 推理过程中，离线词汇嵌入可重新参数化以便部署

  1. 实验分析

04  YOLO-World代码讲解（重点）

  • 开源代码实战演示

ae25ea65737dbe88386f1da18067da25.png

unsetunset导师介绍unsetunset

Frank 导师

【个人背景】国内一线车企研究院资深算法工程师，擅长感知算法方向，在语义分割、车道线检测、2D和3D目标检测、BEV目标检测等领域，具有丰富的项目创新和落地经验。

【研究经历】曾主导多个重大项目，精通算法研究和部署端优化，以主要研究者身份，发表过CVPR多模态方向论文，在CV领域积累了多篇授权和落地专利。

👇🏻扫描二维码找助教0元预约直播课！

c78a60bb8760cf43e94a7d3e1469abce.png

凡预约即可免费领取170篇目标检测精选论文（开放词汇/YOLO系列/顶会收录等）+文末还有算力等科研福利！

unsetunsetYOLO系列课程开学季活动unsetunset

课程一《YOLOv8-10速成课程》

  1. 主要内容：精讲YOLOv8-10论文和代码，以及具体任务的轻量化部署

  2. 上线时间：2024年

  3. 课程时长：共5节课，约5小时

  4. 课程形式：录播课，下单即可畅听全部内容

  5. 开课福利：免费领取YOLOV1-10全部论文&代码&数据集+YOLO近年改进论文等资料

  6. 开学福利价：5.99元

课程二《YOLO全家桶训练营》

  1. 主要内容：重点讲解YOLOv1-10的算法原理、代码实现、项目实战等

  2. 上线时间：2024年

  3. 课程时长：共9节课，约9小时

  4. 课程形式：直播课，每周1节，目前已开课，本周预计上线第6节，下单后畅享往期回放

  5. 开课福利：若完成课程打卡，送价值2000元的研梦年卡会员；免费领取YOLOV1-10全部论文&代码&数据集+YOLO近年改进论文等资料

  6. 开学福利价：咨询助教

👇🏻 扫码加助教咨询/开课立享开学福利价！

d34ad4af6f943560a0f4c8a1880bc13d.png

unsetunset研梦非凡科研论文指导方案unsetunset

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

02768878110d86a1cb5877948535414a.jpeg8474c69bc22551a37d1ff250e330d69c.jpeg

<<< 左右滑动见更多 >>>

👇🏻扫描二维码咨询助教两种指导方案

6225d1e1e43a460e074e5b1fc5458a9b.png

unsetunset研梦非凡部分导师介绍unsetunset

研梦非凡导师团队，来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～

e602fd4ecc823658b01466c71be52377.png96f3c6547191be926c5968eb3dbb07b3.png6b7ce93203a64a5fa09422fb029c54ec.png92628198ee690657df90b86bdd6d030c.png

<<< 左右滑动见更多 >>>

👇🏻扫码加助教为你匹配合适课题的大牛导师

dd27d42c2282df4ff331278fd50c4c62.png

unsetunset研梦非凡科研福利unsetunset

🌟90分钟人工智能零基础入门课免费领

🌟7小时科研论文写作系列课免费领

🌟年度会员福利价129元（原价2999）

🌟50小时3080GPU算力免费领

🌟百篇9月论文资料大合集免费领

👇🏻 扫码领取以上5重粉丝专属科研福利！

15c20f16211c256712f0fbc709ebf2fb.png

f1205231c0527c0d66924469afdff766.jpeg

PaperWeekly
关注
YOLO-World: Real-Time Open-Vocabulary Object Detection
猛码Memmat
02-02 1992
yolo-world
YOLO-World
whaosoft143ai的博客
02-02 7301
首先，与在完整LVIS数据集上训练的oracle YOLOv8s相比，YOLO-World取得了显著的提升，尤其是对于较大模型，例如，YOLO-World-L比YOLOv8-L在7.2 AP和10.2 AP上有更好的表现。此外，作为高效的单阶段检测器，YOLO-World在总体性能上超过了之前最先进的两阶段方法，而且无需额外的设计，例如，可学习的提示[7]或基于区域的对齐。预训练的YOLO-World拥有丰富的区域文本对，展示了在大词汇检测方面的强大能力，且更多的数据训练将带来开集能力的更大提升。
YOLO-World ：实时开放词汇对象检测，前沿开集目标检测器！YOLOV8/计算机视觉/深度学习
Java_college的博客
04-08 2097
YOLO-World的实时开放词汇检测能力和优秀的性能使其成为了一个强大的工具，可用于各种需要快速准确对象检测的场景。YOLO在标准基准测试中，World 的速度和效率超过了现有的开放词汇检测器，包括 MDETR 和 GLIP 系列，展示了YOLOv8 在单个 NVIDIA V100 GPU 上的卓越性能。本节详细介绍了可用的模型及其特定的预训练权重、支持的任务以及与各种运行模式（如推理、验证、训练和导出）的兼容性，支持的模式用 ✅ 表示，不支持的模式用 ❌ 表示。可用型号、支持的任务和运行模式。
拯救大兵YOLO！爆款YOLO-World ：开集检测速度提升20倍！
CV_Autobot的博客
02-03 2408
作者|小书童 编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【目标检测】技术交流群本文只做学术分享，如有侵权，联系删文YOLO系列检测器已将自己确立为高效实用的工具。然而，它们依赖于预定义和训练的物体类别，这在开放场景中限制了它们的适用性。针对这一限制，作者引入了YOLO-World，这是一种创新的方法，通过视觉语言建模和在大型数据...
Yolo-World网络模型结构及原理分析（一）——YOLO检测器
ITdaka的博客
07-18 1736
本文主要对开放词汇检测模型yolo-world的模型结构进行分析，研究模型具体的工作流程
YOLO | YOLO-World论文详解
weixin_44649780的博客
02-16 5950
腾讯出的热气腾腾的论文YOLO-World来啦~
yolo-world资料（源码+文档）
08-19
yolo-world ********************* Highlights & Introduction This repo contains the PyTorch implementation, pre-trained weights, and pre-training/fine-tuning code for YOLO-World. YOLO-World is pre-...
yolo-world.zip,yolo-world.zip
最新发布
08-19
yolo-world.zip,yolo-world.zip
yolo-world的系统代码
08-19
yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码...
YOLO-World：缩小开放词汇下的目标检测检测速度和准确性之间的差距
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-21 4961
在不断发展的人工智能和计算机视觉领域中，YOLO-World作为一项突破性的发展出现，重塑了我们在目标检测方面的理解和能力。这种尖端方法扩展了YOLO（You Only Look Once）系列，通过整合开放词汇检测，允许更加动态和灵活地实时识别对象。最近在视觉-语言建模方面的进步为各个领域开启了前所未有的应用，从自动驾驶到高级监控系统。本文深入探讨了YOLO-World的机制、成就和潜力，标志着在AI驱动的目标检测技术中的一次重大飞跃。
Yolo-World网络模型结构及原理分析（二）——文本编码器
ITdaka的博客
07-20 1152
文本编码器部分主要负责将文本信息转换为可用于模型进一步处理的嵌入表示
yolo-world 源码解析（一）
龙哥盟
03-08 835
.\YOLO-World\configs\deploy\detection_onnxruntime-fp16_dynamic.py # 设置基础路径为指定的配置文件路径 _base_ = ( '../../third_party/mmdeploy/configs/mmdet/detection/' 'detection_onnxruntime-fp16_dynamic.py') # 定义代码库配置，包括模型类型、任务类型、后处理参数等 codebase_config = dict(
【论文阅读】YOLO-World | 开集目标检测
kabuto_hui的博客
04-18 1793
通过视觉语言建模和大规模数据集上的预训练来增强YOLO的开发词汇检测能力。YOLO-world提出了一种prompt-then-detect范式：先提示，再检测。即将单词先转化成一系列离线的embedding，再将其重参数为模型的参数，参与到目标检测任务中来。
YOLO-World初体验：Ultralytics版本，可直接上手，离线运行
热门推荐
AI数据工厂
02-20 1万+
YOLOv8官方新增了对YOLO-World的支持，本文利用其提供的模型及接口进行了体验。
检测一切YOLO-World的几个实用使用技巧，助力精准高效目标检测任务！
阿旭的博客
04-19 2368
检测一切YOLO-World的几个实用使用技巧，助力精准高效目标检测任务！
YOLO世界：实时开放词汇对象检测
qq_43314576的博客
04-21 1297
本周主要阅读了CVPR文章，YOLO-World: Real-Time Open-Vocabulary Object Detection。是一种先进的实时开放词汇对象检测系统，它基于流行的 YOLO（You Only Look Once）对象检测框架。
YOLO-World——超级轻量级开放词汇目标检测方法
知来者逆的博客
02-05 8242
YOLO-World，一个实时的open vocabulary检测器，旨在提高实际应用中的效率和open vocabulary能力。作者将普遍存在的YOLO重新塑造为一个视觉语言YOLO架构，提出了RepVL-PAN，将视觉和语言信息与网络连接，并可重新参数化以实现高效部署。作者进一步提出了有效的预训练方案，包括检测、基础和图像文本数据，赋予YOLO-World强大的open vocabulary检测能力。实验表明，YOLO-World在速度和open vocabulary性能方面具有优越性，并表明视觉语言
多模态：YOLO-World详解
WiSirius的博客
02-26 5560
YOLO系列检测器已将自己确立为高效实用的工具。然而，它们依赖于预定义和训练的物体类别，这在开放场景中限制了它们的适用性。针对这一限制，作者引入了YOLO-World，这是一种创新的方法，通过视觉语言建模和在大型数据集上的预训练，将YOLO与开集检测能力相结合。具体来说，作者提出了一种新的可重参化的视觉语言路径聚合网络（RepVL-PAN）和区域文本对比损失，以促进视觉和语言信息之间的交互。作者的方法在以零样本方式检测具有很好的效果。
yoloworld from .YOLO_WORLD_EfficientSAM import * ImportError: attempted relative import with no known parent package
06-28
The error message you're encountering suggests that there's an issue with importing the `YOLO_WORLD_EfficientSAM` module from a Python package. The `ImportError: attempted relative import with no known parent package` typically indicates that the code is trying to use a relative import (`from . import ...`) but the current directory structure does not have a proper package structure or the parent package has not been imported correctly. Here's what you can do to resolve this: 1. **Check package structure**: Ensure that you have a `__init__.py` file in the root directory of your package, as this is required for Python to recognize it as a package. If the module you're trying to import is in a subdirectory, move it up to the same level or create the necessary levels of directories (e.g., `your_package/your_subpackage`). 2. **Use absolute imports**: Instead of using relative imports, try importing the module using an absolute path, like `from yoloworld import YOLO_WORLD_EfficientSAM`. 3. **Ensure correct import statement**: If you are within a package, make sure you're importing the package correctly before attempting to import the submodule. For example, if the package is called `yoloworld`, you might need to do `import yoloworld` first and then use `from yoloworld.YOLO_WORLD_EfficientSAM import *`. 4. **Update PYTHONPATH**: If you're working in a development environment, ensure your PYTHONPATH environment variable includes the correct path to the package location. If you provide more details about your project setup and the exact context where you're encountering this error, I could give a more tailored solution. Here are some related questions for further clarification:
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值