YOLO-World重塑自动驾驶！检测速度提升20倍！

于 2024-09-03 07:30:53 发布
阅读量45 收藏
点赞数
文章标签： YOLO 自动驾驶 目标跟踪 人工智能 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247626227&idx=2&sn=db628183e7d025559f413533e4eea869&chksm=cf430f3dcd1a2188ec3017a0d28215e6bdf8405128b3fcc39ca7bdfe8cf4da306af362d01b21&scene=126&sessionid=0
版权

开放词汇目标检测，正在超越Faster R-CNN、DETR、YOLOs等传统方法，成为自动驾驶系统极具潜力的研究方向，近两年顶会创新也层出不穷，腾讯重磅发布不久的YOLO-World，便是一种先进的开放词汇检测器，基于简洁高效的YOLOv8架构，通过视觉语言建模，以及大规模数据集的预训练，能够识别并定位训练集中未出现的新类别物体，比如道路环境、交通标志和未知障碍等！

61b301296fed94f9169a39bc517c0be0.png

为了帮助大家掌握YOLO-World，研梦非凡于9月10日晚（周二），邀请了CV领域资深算法工程师Frank导师，独家详解CVPR'24收录工作《YOLO-World：实时开放词汇目标检测》（AI前沿直播课NO.66），从传统目标检测回顾，到开放词汇/开集目标检测介绍，重点讲解YOLO-World主要贡献、网络结构及算法原理，并代码演示如何使用YOLO-World，1节课速通开放词汇目标检测，get论文改进和求职面试知识点！

👇🏻扫描二维码找助教0元预约直播课！

671e5f0de27b133b29c0b327f04d621b.png

凡预约即可免费领取160篇目标检测精选论文（开放词汇/YOLO系列/顶会收录等）+文末还有算力等科研福利！

b7395764b9aab421922cf34059168196.gif

unsetunset本节直播课内容概览unsetunset

01 开放词汇目标检测和开集目标检测

  1. 传统目标检测算法及不足

  • YOLO系列检测器高效实用

  • 缺点1：受限于预定义和训练的物体类别

  • 缺点2：新类别可能错误归为有限类别的一种

  1. 开放词汇目标检测（OVOD）

  • 概念：检测和识别未在训练集中明确标注的物体类别

  • 特点1：视觉特征提取（ResNet或ViT）

  • 特点2：文本嵌入（BERT或CLIP文本编码器）

  • 特点3：视觉-语言匹配

  • 特点4：多模态融合（注意力机制、自监督学习等）

  1. 开集目标检测（OSOD）

  • 概念：与OVOD类似

  • 区别：与OVOD不同，识别出未知类别后，不再继续判断

02 YOLO-World简介

  1. YOLO-World主要贡献

  • 先进的开放词汇对象检测器

  • 可重新参数化的视觉-语言路径聚合网络

  • 开放词汇区域-文本对比的预训练方案

  • 强大的零样本性能，在LVIS上达到35.4 AP和52.0 FPS

  1. YOLO-World网络结构

👇🏻扫描二维码找助教0元预约直播课！

7e8f8c66d2e0b7237c76896940eadaff.png

凡预约即可免费领取160篇目标检测精选论文（开放词汇/YOLO系列/顶会收录等）+文末还有算力等科研福利！

03 YOLO-World算法原理

  1. YOLO Detector

  • 基于YOLOv8开发

  • 主要包括Darknet骨干、路径聚合网络（PAN）、Head结构

  1. Text Encoder

  • 采用CLIP预训练的Transformer文本编码器

  • 提供了更好的视觉语义能力

  1. Re-parameterizable Vision-Language PAN（RepVL-PAN）

  • 通过多尺度图像特征建立特征金字塔

  • 通过文本引导CSPLayer和图像池注意，进一步增强图像特征和文本特征之间的交互

  • 推理过程中，离线词汇嵌入可重新参数化以便部署

  1. 实验分析

04  YOLO-World代码讲解

  • 开源代码实战演示

9b5fa3a10b4f5db9f978ab0e1d9e0106.png

unsetunset导师介绍unsetunset

Frank 导师

【个人背景】国内一线车企研究院资深算法工程师，擅长感知算法方向，在语义分割、车道线检测、2D和3D目标检测、BEV目标检测等领域，具有丰富的项目创新和落地经验。

【研究经历】曾主导多个重大项目，精通算法研究和部署端优化，以主要研究者身份，发表过CVPR多模态方向论文，在CV领域积累了多篇授权和落地专利。

👇🏻扫描二维码找助教0元预约直播课！

e34f541741b529a03edd8f528c7a0e3b.png

凡预约即可免费领取160篇目标检测精选论文（开放词汇/YOLO系列/顶会收录等）+文末还有算力等科研福利！

unsetunsetYOLO系列课程开学季活动unsetunset

独家课程一《YOLOv8-10速成课程》

  1. 主要内容：精讲YOLOv8-10论文和代码，以及具体任务的轻量化部署

  2. 上线时间：2024年

  3. 课程时长：共5节课，约5小时

  4. 课程形式：录播课，下单即可畅听全部内容

  5. 开课福利：免费领取YOLOV1-10全部论文&代码&数据集+YOLO近年改进论文等资料

  6. 开学福利价：5.99元

独家课程二《YOLO全家桶训练营》

  1. 主要内容：重点讲解YOLOv1-10的算法原理、代码实现、项目实战等

  2. 上线时间：2024年

  3. 课程时长：共9节课，约9小时

  4. 课程形式：直播课，每周1节，目前已开课，本周预计上线第6节，下单后畅享往期回放

  5. 开课福利：若完成课程打卡，送价值2000元的研梦年卡会员；免费领取YOLOV1-10全部论文&代码&数据集+YOLO近年改进论文等资料

  6. 开学福利价：咨询助教

👇🏻 扫码加助教咨询/开课立享开学福利价！

4d190800f1bce369bd112dfef6fe3fd4.png

unsetunset研梦非凡科研论文指导方案unsetunset

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

909121be7d378848adf90108690e9a45.jpege4c173b1869c43456704088b04a81151.jpeg

<<< 左右滑动见更多 >>>

👇🏻扫描二维码咨询助教两种指导方案

099b0404ce1e734644dcbaea5c95e0fe.png

unsetunset研梦非凡部分导师介绍unsetunset

研梦非凡导师团队，来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～

d4e7aa3d25bb656ea7c2e6a53adcf2a3.png720cc6645320ba8c5b260626562427a9.png7c79088ad8db969fa9b0d7b4d934a225.png4ab857764e9806db0a36e6e51590ba7e.png

<<< 左右滑动见更多 >>>

👇🏻扫码加助教为你匹配合适课题的大牛导师

5c3c73e3ca6475b7a2575d9dce426fd1.png

unsetunset研梦非凡科研福利

🌟90分钟人工智能零基础入门课免费领

🌟7小时科研论文写作系列课免费领

🌟年度会员福利价129元（原价2999）

🌟50小时3080GPU算力免费领

🌟百篇8月论文资料大合集免费领

👇🏻 扫码领取以上5重粉丝专属科研福利！

c918848c0551d59e163913f4d3e65218.png

261b0e2ea7f85e89570e8eee306fdb20.jpeg

自动驾驶之心
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YOLO-World：缩小开放词汇下的目标检测检测速度和准确性之间的差距
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-21 4857
在不断发展的人工智能和计算机视觉领域中，YOLO-World作为一项突破性的发展出现，重塑了我们在目标检测方面的理解和能力。这种尖端方法扩展了YOLO（You Only Look Once）系列，通过整合开放词汇检测，允许更加动态和灵活地实时识别对象。最近在视觉-语言建模方面的进步为各个领域开启了前所未有的应用，从自动驾驶到高级监控系统。本文深入探讨了YOLO-World的机制、成就和潜力，标志着在AI驱动的目标检测技术中的一次重大飞跃。
从基础到高级：AI大模型开发的技术栈
光剑书架上的书
01-17 1276
人工智能（AI）技术在近年来取得了突飞猛进的发展，其中大模型（Large Language Models，LLMs）的出现更是掀起了新一轮的技术革命。从OpenAI的GPT系列到Google的BERT，再到更近期的Claude和PaLM，这些大模型展现出了惊人的语言理解和生成能力，正在重塑我们与技术交互的方式。然而，开发如此复杂的AI系统并非易事，它需要一整套完善的技术栈支持。本文旨在全面剖析AI大模型开发的技术栈，从基础理论到实际应用，为读者提供一个清晰而深入的认识。
YOLO-World：实时开放词汇目标检测
AI浩
03-06 2007
Open Vocabulary：开放词汇论文链接：https://arxiv.org/pdf/2401.17270.pdfYou Only Look Once (YOLO) 系列检测器已经确立了自己作为高效和实用工具的地位。然而，它们对预定义和训练过的对象类别的依赖限制了它们在开放场景中的适用性。为了解决这个问题，我们引入了 YOLO-World，这是一种创新的方法，通过视觉语言建模和在大规模数据集上的预训练，为 YOLO 增添了开放词汇检测能力。
Yolo-Word论文精读
ITdaka的博客
04-30 665
YOLO-World介绍：为了克服这一限制，作者提出了YOLO-World，这是一种新的方法，它通过视觉-语言建模和在大规模数据集上的预训练，增强了YOLO的开放词汇（open-vocabulary）检测能力。图表中圆圈的大小代表了模型的大小。尽管一些方法通过区域-文本匹配统一了检测数据集和图像-文本数据集，并通过大规模图像-文本对进行预训练，从而取得了有希望的性能和泛化能力，但这些方法通常使用重型检测器，如ATSS或DINO，这些检测器以Swin-L作为骨干网络，导致计算需求高和部署挑战。
yolo world 中文翻译
weixin_41012399的博客
07-31 358
摘要You Only Look Once (YOLO) 系列检测器已成为高效实用的工具。然而，它们对预定义和训练的对象类别的依赖限制了它们在开放场景中的适用性。为了解决这一限制，我们引入了 YOLO-World，这是一种创新方法，通过视觉语言建模和大规模数据集的预训练来增强 YOLO 的开放词汇检测功能。具体来说，我们提出了一种新的可重新参数化的视觉语言路径聚合网络（RepVL-PAN）和区域文本对比损失，以促进视觉和语言信息之间的交互。我们的方法擅长以零样本的方式高效地检测各种物体。
自动驾驶笔记（二）
CSDN_XCS的博客
08-20 992
1. 感知
Object Detection in 20 Years: A Survey 20年间的目标检测：综述
学习日常分享
05-16 5867
摘要 物体检测作为计算机视觉中最基本和最具挑战性的问题之一，近年来受到了极大的关注。它在过去二十年中的发展可以看作是计算机视觉历史的缩影。如果我们把今天的物体探测看成是深度学习力量下的技术美学，那么把时钟拨回到20年前，我们就见证了冷武器时代的智慧。本文根据其技术演变（从1990年代到2019年）广泛回顾了400多篇关于物体检测的论文。本文涵盖了许多主题，包括历史上的里程碑探测器，检测数据集，指标，检测系统的基本构建块，加速技术以及最近的最先进的检测方法。本文还综述了行人检测、人脸检测、文本检测等一些重要的
YOLOv1论文中英文对照翻译
qq_42755230的博客
07-16 1935
我们提出了YOLO，一种检测目标的新方法。之前关于目标检测的工作重新利用分类器来进行检测。相反，我们把目标检测看作是一个回归问题，即空间分离的边界框和相关的类别概率。一个单一的神经网络在一次评估中直接从完整的图像中预测出边界框和类别概率。由于整个检测管道是一个单一的网络，它可以直接对检测性能进行端到端的优化。我们的统一架构是非常快的。我们的基本YOLO模型以每秒45帧的速度实时处理图像。...
视觉Transformer上榜！DeepMind科学家：2020年AI领域十大研究进展
阿木寺的博客
02-14 352
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达来源：AI科技评论编译 | bluemin编辑| 陈大鑫DeepMind NLP科学家Sebastian R...
利用 YOLO-World 和 GPT-4V LMM 在无人机图像中进行零射击人员检测和动作识别（国外文献）
04-11
### 利用 YOLO-World 和 GPT-4V LMM 在无人机图像中进行零射击人员检测和动作识别 #### 引言 随着大型语言模型（LLMs）的快速发展，机器学习和人工智能领域经历了翻天覆地的变化。过去，构建特定任务领域的模型...
yolo-world资料（源码+文档）
08-19
yolo-world ********************* Highlights & Introduction This repo contains the PyTorch implementation, pre-trained weights, and pre-training/fine-tuning code for YOLO-World. YOLO-World is pre-...
YOLO-World：实时开放词汇对象检测
04-11
综上所述，YOLO-World通过创新的视觉-语言融合技术和高效的对比学习策略，显著提升了目标检测领域的技术水平。其不仅解决了传统YOLO检测器在开放词汇场景下的局限性，还为未来计算机视觉应用开辟了新的可能性。
yolo-world的系统代码
08-19
yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码yolo-world的系统代码...
YOLOv8改进 | Conv篇 | YOLOv8引入SAConv模块
最新发布
tsg6698的博客
09-01 244
在微观层面，我们提出了可切换空洞卷积，它将具有不同空洞率的特征进行卷积，并使用开关函数收集结果。在 COCO test-dev 上，DetectoRS 在目标检测方面实现了最先进的 55.7% 框 AP，在实例分割方面实现了 48.5% 的掩模 AP，在全景分割方面实现了 50.0% PQ。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
基于yolov8的8种人脸表情检测系统python源码+onnx模型+评估指标曲线+精美GUI界面
FL1623863129的博客
08-29 4053
基于YOLOv8的人脸表情检测系统是一个结合了先进目标检测算法（YOLOv8）与深度学习技术的项目，旨在实时或离线地识别并分类人脸表情（如快乐、悲伤、愤怒、惊讶、恐惧、厌恶、中立等）。（1）首先根据官方框架https://github.com/ultralytics/ultralytics安装教程安装好yolov8环境，并安装好pyqt5。（2）切换到自己安装的yolov8环境后，并切换到源码目录，执行python main.py即可运行启动界面，进行相应的操作即可。【模型可以检测出类别】
TPH-YOLOv5：基于Transformer预测头的改进YOLOv5，用于无人机捕获场景的目标检测
qq_44926214的博客
09-01 1003
提出了TPH-YOLOv5。在YOLOv5的基础上，增加了一个预测头来检测不同尺度的目标。然后用Transformer Prediction Heads（TPH）代替原有的预测头，探索自注意机制的预测潜力。还集成了卷积块注意力模型（CBAM），用来发现密集对象场景中的注意力区域。为了实现所提出的TPH-YOLOv 5的更多改进，提供了一些有用的策略，如数据增强，多尺度测试，多模型集成和使用额外的分类器。设计了跨层非对称Transformer（CA-Trans）来代替额外的预测头，同时保持该预测头的知识。
基于yolov8的飞鸟检测系统python源码+onnx模型+评估指标曲线+精美GUI界面
FL1623863129的博客
08-29 685
系统中，你会编写代码来加载模型、处理输入图像（或视频帧），将图像输入模型进行预测，然后解析模型输出以获取检测到的飞鸟的位置和类别信息。整个系统的实现不仅涉及深度学习模型的应用，还涵盖了图像处理、视频处理和用户界面设计的多个方面，是一个综合性的项目。（2）切换到自己安装的yolov8环境后，并切换到源码目录，执行python main.py即可运行启动界面，进行相应的操作即可。接着，加载预训练的YOLOv8模型，这些模型通常已在大型数据集上训练好，能够识别多种鸟类。首先，你需要安装必要的Python库，如。
基于yolov8的直肠息肉检测系统python源码+onnx模型+评估指标曲线+精美GUI界面
FL1623863129的博客
08-30 536
基于YOLOv8的直肠息肉检测系统是一种创新的医疗诊断工具，它结合了深度学习技术的最新成果，显著提高了直肠息肉检测的准确性和效率。同时，该算法对目标尺度变化具有较强的鲁棒性，能够处理不同大小和形状的息肉病灶，提高了检测的可靠性。在直肠息肉检测系统中，YOLOv8模型经过大量肠镜图像数据的训练和优化，能够学习到息肉的精细特征，并进行准确分类和定位。综上所述，基于YOLOv8的直肠息肉检测系统是现代医疗技术的重要进步，为直肠息肉的早期发现和治疗提供了有力的支持。【模型可以检测出类别】
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值