自动驾驶“大模型+端到端”整理笔记：DriveVLM(理想), Senna(地平线)，EMMA(Waymo), LeapAD[NIPS2024]

最新推荐文章于 2025-02-26 07:30:41 发布
最新推荐文章于 2025-02-26 07:30:41 发布
阅读量2.7k 收藏 33
点赞数 52
分类专栏： 自动驾驶 文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xying_chloe/article/details/145286138
版权

【如果笔记对你有帮助，欢迎关注&点赞&收藏，收到正反馈会加快更新！谢谢支持！】

目录

一、前言

二、近期论文整理

2.1 DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models (理想)

2.2 Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving (地平线)

2.3 EMMA: End-to-End Multimodal Model for Autonomous Driving (Waymo)

2.4 (LeapAD) Continuously Learning, Adapting, and Improving: A Dual-Process Approach to Autonomous Driving [NIPS2024]

三、往期笔记

一、前言

  • 自动驾驶端到端模型(end-to-end)是什么？
    • 将感知、预测、规划和控制任务统一到一个模型中，输入传感器数据（如图像），输出控制指令
  • 为什么要结合多模态大模型(VLM)做端到端任务？
    • VLM本身具有：1. 视觉理解能力；2. 推理能力
    • VLM能帮助理解传统模型理解长尾复杂场景，处理多车博弈情况
    • VLM可以给出推理过程和解释

二、近期论文整理

2.1 DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models (理想)

  • 要点：1. 设计用于自动驾驶任务的大模型【DriveVLM】；2. 提出VLM和传统端到端模型交互的系统【DriveVLM-Dual】，实现更精细的轨迹规划
  • Pipeline:
  • DriveVLM：
    • 思维链(Chain-of-Thought)推理：场景描述  → 场景分析 → 层级规划
    • 场景描述
      1. 环境：天气、时间、道路类型（如高速、城市）、车道线（自车车道）
      2. 关键物体检测：物体类别和目标框
    • 场景分析：
      • 物体特征：静态属性（本身是什么）、运动状态（方位和动作）、特殊行为（比如交警手势）
      • 场景总结【传给下一步规划】
    • 层级规划（Hierarchical Planning）
      • Prompt提供的信息: 场景总结、路线、自车位姿和速度
      • Meta-actions（基本动作）→ 决策描述（物体&动作&持续时间）→  轨迹点
  • DriveVLM-Dual：
    • 实现：VLM和传统端到端模型(E2E)协作
    • 关键设计1：E2E给VLM提供3D感知信息
      • （E2E感知模块输出的）3D物体检测框和（VLM输出的）2D物体检测框匹配
      • 匹配上的物体：提供历史轨迹和位置信息给VLM的prompt作补充
        【反过来想：对E2E模型，VLM可以补充未匹配上的物体（如长尾物体）信息】
    • 关键设计2: 高频轨迹优化
      • 快慢系统：在固定重叠时间，VLM轨迹【低频】优化 E2E轨迹【高频】
        （E2E模型运行速度比VLM快）

2.2 Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving (地平线)

  • 三个中心问题 & 改进点：
    • 怎么结合大模型和端到端？
      两个主流思路：1. 直接用VLM输出规划轨迹点和控制信号（问题：大模型不擅长准确数值的预测）； 2. 大模型辅助端到端模型（即本篇工作思路）
      【改进点：规划过程从high-level动作指令（大模型输出）到low-level的轨迹点（端到端模型输出）】
    • 怎么针对驾驶任务设计大模型？
      主要问题：环视图会造成图像占用过多的token【改进点：设计更有效的多视图编码策略】
    • 如何更有效地训练大模型？
      • 当前的自动驾驶数据集不是针对规划任务设计的【提出planning-oriented QAs数据集】
      • 传统的“通用预训练再微调”不是最优训练范式【改进点：针对驾驶任务，设计了三阶段的训练策略】
  • QAs数据集（下面是涉及到的任务）：
    • 感知：场景描述，交通信号检测，弱势道路使用者（如行人、动物）
    • 预测：物体动作预测
    • 规划：Meta-Actions规划，规划解释【Meta-Actions指high-level动作指令，比如直行、左转、减速】
  • Pipeline：
    • Senna-VLM：图像序列、用户指令和导航命令【输入】→ Meta-Actions → Encoder → Meta-Actions特征
    • Senna-E2E（端到端模型）：场景图像 & Meta-Actions特征（规划阶段输入）→ 规划轨迹
      【Meta-Actions指导E2E做更准确的轨迹规划】
  • 核心模块：VLM中的 Driving Vision Adapter
    • 作用：1. 将图像特征映射到文本特征空间；2. 进一步编码和压缩图像token
    • 用多头自注意力压缩，图像Tokens数量变化:  576×6 → 128×6 （压缩到一个视图128 tokens，共6个相机视角）
  • 训练策略：
    • Senna-VLM（分三阶段）
      • 阶段一 Mix Pretraining：混合多数据集，主要训练Driving Vision Adapter，做特征对齐
      • 阶段二  Driving Fine-tuning：用QAs数据集中的感知和预测相关的训练数据微调
      • 阶段三 Planning Fine-tuning：用QAs数据集中的规划相关的训练数据微调
        （阶段二、三都冻住VLM中的Vision Encoder）
    • Senna-E2E：
      • 训练时用真值meta-actions，推理时用VLM预测的meta-actions

2.3 EMMA: End-to-End Multimodal Model for Autonomous Driving (Waymo)

  • 思路：用VLM直接做端到端输出，并同时给决策理由
  • Pipeline:
    环视图 & high-level指令 & 自车历史状态【输入】→ Gemini大模型【两路处理：1. 端到端决策 2. 思维链推理】 → 轨迹点 & 决策过程和理由【输出】
  • 核心模块：思维链(Chain-of-Thought) 推理规划过程
    • 推理策略：粗糙到精细(coarse-to-fine)
    • 推理线路：场景描述 → 重要物体检测（输出坐标）→ 重要物体描述（状态和意图） → 高级驾驶决策（Mata Actions）
  • 其他能做的任务（通过混合训练实现）
    • 空间推理（3D目标检测任务）
    • 关键道路要素检测（道路图）
    • 场景理解（检测是否暂时受阻）

2.4 (LeapAD) Continuously Learning, Adapting, and Improving: A Dual-Process Approach to Autonomous Driving [NIPS2024]

  • 任务：闭环自动驾驶决策系统（不输出轨迹点，只决策动作）
  • 为什么做闭环任务？
    • 符合现实：人类是在有实时反馈的环境中驾驶并且提升驾驶能力的
    • 对系统：让模型有持续学习，不断适应并且进步的能力
  • 动机：模仿人类认知过程
    • 系统一（快系统）：靠直觉和经验得出结果（判断简单事情）
    • 系统二（慢系统）：靠逻辑推理和分析得出结论（分析复杂情况）
  • Pipeline:
    • 分析过程（不参与闭环线路）：
      • 作用：1. 累积驾驶分析和决策的经验； 2. 遇到事故的时候介入（反思机制）
      • 实现：图像 & 场景理解文本 & 交通规则prompt【输入】→ GPT4【推理决策分析】→ 结果存入Memory Bank
      • 反思机制（由事故触发）：分析事故原因 → 定位事故位置 → 给出正确推理和决策 → 存入Memory Bank
    • 启发过程（闭环线路）：
      • 作用：调用过往经验（Few-shots），对当前场景快速决策
      • 过程：图像(From Carla) → Qwen-VLM-7B【场景理解】→ Qwen-1.5-1.8B【从Memory Bank调用相似场景信息，做出规划决策】→ 动作执行 → Carla【闭环】
  • 模型训练：
    • 微调Qwen-VLM-7B（参数量为7B）：数据多来源(Carla, DriveLM等)，输入图像，学习场景理解
    • 微调Qwen-1.5-1.8B（参数量为1.8B）：输入场景理解，学习动作决策

三、往期笔记

自动驾驶Occupancy梳理笔记（一）-CSDN博客

自动驾驶Occupancy梳理笔记（二）:SurroundOcc, OccFormer, VoxFormer, FB-OCC-CSDN博客

自动驾驶Occupancy梳理笔记（三）: SelfOcc, SparseOcc(华为&上交), SparseOcc(上海AI Lab), OccWorld_self-occ-CSDN博客
自动驾驶Occupancy梳理笔记（四）：GaussianFormer, OSP, ViewFormer, OPUS-CSDN博客

【论文精读】VLM-AD：通过视觉-语言模型监督实现端到端自动驾驶
记录学习内容
02-21 1453
人类驾驶员依赖常识推理来应对复杂多变的真实世界驾驶场景。现有的端到端（E2E）自动驾驶（AD）模型通常被优化以模仿数据中观察到的驾驶模式，但未能捕捉到背后的推理过程。这种限制使得它们在处理具有挑战性的驾驶场景时能力受限。为了弥合这一差距，我们提出了VLM-AD，一种利用视觉语言模型（VLMs）作为教师来增强训练的方法，通过提供额外的监督信号，将非结构化的推理信息和结构化的动作标签融入训练中。这种监督能够增强模型学习更丰富的特征表示的能力，从而捕捉驾驶模式背后的逻辑。
CVPR2025自动驾驶端到端前沿论文汇总
最新发布
二爷的博客
03-17 1200
汇总CVPR2025自动驾驶前沿论文。
LVLM赋能端到端自动驾驶再上一层楼！地平线联手华科打造Senna算法模型！
FelixTea的博客
12-30 710
在本文中，作者将大视觉-语言模型和端到端自动驾驶相结合，提出了Senna算法框架。通过LVLM生成规划决策，端到端算法预测轨迹的方式，Senna在nuScenes规划任务上实现了SOTA的性能
VLM与VLA的区别是什么？当前自动驾驶落地的情况怎么样？
CV_Autobot的博客
02-26 579
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线去年理想对外展示快慢系统后，VLM在自驾的应用落地正式对外展露。今年智驾行业又在主推VLA，相比于端到端+VLM方式，VLA方案拥有更高的场景推理能力与泛化能力。不少智驾领导者都将VLA视为当下“端到端”方案的2.0版本，VLA也被看成是端到端+VLM的合体。VLM关注的重点在于环境建模，VLA除了考虑环境建模...
DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
Talk is cheap, show me the code!
02-23 3491
清华&理想 | DRIVEVLM：自动驾驶和大型视觉语言模型的融合最新SOTA！
经典文献阅读之--DriveVLM(自动驾驶与大型视觉语言模型的融合)
lovely_yoshino的博客
07-13 1万+
本文介绍了DriveVLM：自动驾驶与大型视觉语言模型的融合。城市环境中自动驾驶的一个主要障碍是理解复杂且长尾的场景，例如具有挑战性的路况和微妙的人类行为。为此，本文引入了DriveVLM，这是一种利用视觉语言模型（VLMs）增强场景理解和规划能力的自动驾驶系统。DriveVLM集成了用于场景描述、场景分析和分层规划的思维链（CoT）模块的独特组合。
论文阅读DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
yang_daxia的博客
04-11 1379
DriveVLM是一种结合了自动驾驶技术和大型视觉语言模型（VLMs）的系统，旨在提高自动驾驶车辆在复杂和长尾场景下的理解能力和规划能力。该系统通过引入一种特殊的思维链（Chain-of-Thought，CoT）推理过程，将场景描述、场景分析和层级规划三个关键模块结合起来，以对应传统的感知、预测和规划流程。此外，DriveVLM-Dual作为一种混合系统，结合了DriveVLM和传统自动驾驶流程的优势，以弥补VLM在空间推理和计算需求方面的局限性。
2024自动驾驶(多模态)大模型综述：从DriveGPT4、DriveMLM到DriveVLM、DriveMM
热门推荐
结构之法 算法之道
08-12 1万+
​ 本文主要涉及以下4篇paper的解读(按发表的时间顺序排列) DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving DriveLM: Driving with Graph Visual
持续学习、适应和改进：自动驾驶的dual-process方法
yorkhunter的博客
07-22 1076
24年5月来自浙江大学、上海AI实验室和华东师范大学的论文“Continuously Learning, Adapting, and Improving: A Dual-Process Approach to Autonomous Driving”。
规划误差降低27%，碰撞率降低33%Senna: 大规模视觉-语言模型与端到端自动驾驶相结合
自动驾驶实战
10-31 979
端到端自动驾驶在大规模数据中展示了强大的规划能力，但在复杂、罕见的场景中仍然因常识有限而表现不佳。相比之下，大型视觉语言模型（LVLMs）在场景理解和推理方面表现出色。前进的方向在于融合两者的优势。以往利用LVLMs预测轨迹或控制信号的方法效果不佳，因为LVLMs并不适合精确的数值预测。本文提出了Senna，一个结合LVLM（Senna-VLM）与端到端模型（Senna-E2E）的自动驾驶系统。Senna将高层次规划与低层次轨迹预测分离。
论文精读系列1：Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving
congcongnanian97的博客
11-25 1544
Senna：大模型+端到端
senna:家庭自动化项目
06-23
家庭自动化项目，基于框架。 安装 要求： PHP 5.4 或更高 $ git clone https://github.com/senna-project/senna $ cd senna $ composer install 然后配置您的项目并创建数据库。 $ cd senna # To create the ...
p5-Lingua-EN-Senna:SENNA NLP 工具包的 Perl5 包装器
07-03
SENNA NLP 工具包的 Perl5 包装器。 包装器捆绑并支持以下版本的 SENNA： SENNA v3.0 (August 2011) Ronan Collobert 的原始 ANSI C 工具包可以在以下位置找到： 请注意，SENNA 和此包装器是在下分发的
senna-v3.0.gz
01-04
《NLP常用数据集——senna-v3.0深度解析》 自然语言处理（NLP）是计算机科学领域的一个重要分支，它致力于理解和生成人类...在处理英文文本数据时，充分利用senna-v3.0的优势，可以极大地提高工作效率和结果的准确性。
DriveVLM 论文学习
calvinpaean的博客
09-29 1290
规划意图的场景理解定义如下。输入包括环视相机的多视图视频VV，以及可选的感知模块输出的 3D 感知结果PP。场景感知EEE：包括天气条件EweatherEweather​、时间EtimeE_{time}Etime​、道路条件EroadE_{road}Eroad​、车道条件ElaneE_{lane}Elane​。场景分析SSS：包括目标级分析和场景级摘要SSS。决策描述DDD：驾驶决策的详细描述。
理解并超越老司机！LeapAD：具身智能加持下的双过程自驾系统（浙大&上海AI Lab等）...
CV_Autobot的博客
01-03 259
>>直播和内容获取转到→自动驾驶之心知识星球由于传感器、机器学习和人工智能的发展，自动驾驶技术得到了长足的进步。然而主流方法难以应对复杂的场景和因果关系，阻碍了在不同环境中的适应性和可解释性。为了解决上述问题，浙大和上海AI Lab提出了LeapAD，这是一种受人类认知过程启发的自动驾驶新范式。具体来说，LeapAD通过选择与驾驶决策相关的关键目标来模拟人类注意力，简化环境解释，并降低...
直接干上车！DriveVLM：首个Orin部署的快慢双系统智驾大模型（清华&理想）
CV_Autobot的博客
02-28 4012
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心为大家分享清华&理想最新的工作—DriveVLM，结合大视觉语言模型的自动驾驶新方案！如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【大模型】技术交流群论文作者|Xiaoyu Tian、Junru Gu、Bailin Li编辑 | 自动驾驶之心写在前面&笔者...
Senna：连接大型视觉-语言模型和端到端自动驾驶
yorkhunter的博客
12-21 1154
24年10月来自华中理工和地平线的论文“Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving”。 端到端自动驾驶凭借大规模数据展示强大的规划能力，但由于常识有限，在复杂、罕见场景中仍举步维艰。相比之下，大型视觉-语言模型 (LVLM) 在场景理解和推理方面表现出色。前进的道路在于融合两种方法的优势。以前使用 LVLM 预测轨迹或控制信号的方法会产生次优结果，因为 LVLM 不适合精确的数值预测。
LLM在自动驾驶中的Survey
CV_Autobot的博客
07-13 254
作者|erkang 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/707464289点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大语言模型』技术交流群本文只做学术分享，如有侵权，联系删文做了粗略的LLM在自动驾驶中的survey汇总了相关的paper list方便快...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值