自动驾驶思维链(CoT)来啦！Sce2DriveX：全新多模态场景理解大模型，超越所有SOTA~...

最新推荐文章于 2025-05-22 15:47:22 发布

自动驾驶之心

最新推荐文章于 2025-05-22 15:47:22 发布

阅读量345

点赞数

文章标签：自动驾驶人工智能机器学习

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247656920&idx=1&sn=bcace28241536ab8896954c7f9115be2&chksm=cfc0ff217c0ab6f7d17901e492953f8e4c5c5f3a0aba3815166fdf8c72611914b28f3fc7b817&scene=126&sessionid=0

版权

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享一篇自动驾驶多模型大模型的工作！场景理解新SOTA，引入了思维链过程！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『大模型思维链』技术交流群

论文作者 | Rui Zhao等

编辑 | 自动驾驶之心

写在前面 & 笔者的个人理解

端到端自动驾驶直接将原始传感器输入建模到低级车辆控制指令，是具身人工智能的重要组成部分。尽管多模态大语言模型（MLLMs）在高级交通场景语义理解方面取得了成功，但如何有效地将这些概念性语义理解转化为低级运动控制指令，并在跨场景驾驶中实现泛化和一致性，仍然是一个挑战。我们提出了Sce2DriveX，这是一种类人驾驶思维链（CoT）推理的MLLM框架。Sce2DriveX利用局部场景视频和全局鸟瞰图（BEV）的多模态联合学习，深入理解长距离时空关系和道路拓扑结构，增强其在三维动态/静态场景中的综合感知和推理能力，实现跨场景的驾驶泛化。在此基础上，它重构了人类驾驶中固有的隐性认知链，涵盖场景理解、元动作推理、行为解释分析、运动规划和控制，从而进一步弥合自动驾驶与人类思维过程之间的差距。为了提升模型性能，我们开发了首个专门针对三维空间理解和长轴任务推理的大规模视觉问答（VQA）驾驶指令数据集。大量实验表明，Sce2DriveX在从场景理解到端到端驾驶的任务中均取得了最先进的性能，并且在CARLA Bench2Drive基准测试中表现出强大的泛化能力。

论文链接：https://arxiv.org/abs/2502.14917

这里也推荐下自动驾驶之心打磨的《多模态大模型与自动驾驶实战课程》，通用大模型训练（算法原理&微调&强化学习RLHF）、自动驾驶多模态大模型一栈式全搞定！

拼团大额优惠！欢迎加入学习~

引言介绍

具身智能使自动驾驶（AD）模型等智能体具备实时感知、推理并与现实世界交互的能力。然而，AD模型框架面临的一个核心挑战在于泛化性和一致性。一方面，AD学习框架可能难以对复杂、动态的交通场景进行泛化，例如多变的天气条件、道路布局、交通语义，以及周围参与者的行为偏好。另一方面，AD系统的决策策略往往与人类驾驶员的认知过程不一致，这使得人们难以理解系统的行为。这些挑战源于高级场景语义理解与低级运动控制指令之间的差距。因此，开发一种能够进行全天候、全场景感知和推理的类人框架，已成为一个备受关注的话题。

当前的AD研究通常采用小模型学习框架。由于小模型的推理能力有限，这些系统对预定义问题的响应较为僵化，在面对新的或意外的查询时，很难给出令人满意的结果。

最近，MLLMs的快速发展在各种视觉语言任务中展现出显著优势。通过将MLLMs作为高级场景语义理解与低级运动控制指令之间的桥梁，我们可以应对AD模型在泛化性和一致性方面的挑战。受益于在大量跨模态和跨学科数据上的预训练，MLLMs具有强大的推理和泛化能力，能够处理各种场景，增强跨场景驾驶的适应性。此外，MLLMs强大的文本查询和认知能力使其能够将驾驶思维与人类共识保持一致，并将复杂的推理转化为易于理解的自然语言，为AD提供了统一的解释层。然而，AD是一项复杂的任务，具有时空连续性、场景动态性和全局协调性等特点。目前基于MLLM的AD研究主要使用单帧前视图场景图像作为感知输入，这导致对时空关系和道路特征的理解不足，以及对交通场景的理解不全面。此外，在生成驾驶指令时，当前研究通常仅将场景因素映射到低级控制信号，忽略了未来车辆行为背后的推理，未能充分利用MLLMs的通用认知推理能力，与人类驾驶思维存在偏差。

除了模型框架，匹配的数据集对于模型的高效训练和性能上限也至关重要。许多数据集采用VQA的形式设计，尽管取得了一些成果，但在现有VQA数据集上训练的模型，在处理AD的复杂性时仍面临局限。这一局限主要源于交通场景与VQA数据集之间的视觉信息差异，这就要求模型有效地利用多模态感知数据的互补信息，以理解复杂场景，并从多帧数据流中捕捉物体的动态变化。此外，大多数VQA数据集是为单一驾驶任务量身定制的。它们在封闭式问题注释中，通常只提供简单的布尔答案（即“是”或“否”）或有限的多项选择响应，内容不够丰富。

为了弥补这些差距，本文提出了Sce2DriveX框架（见图1左侧）。该框架使用模态编码器将多视图场景视频和BEV地图图像的视觉表示，对齐到统一的视觉特征空间，然后通过共享投影映射到文本嵌入空间，并由大语言模型骨干进行处理，生成包括场景理解、行为分析、运动规划和车辆控制的自然语言响应。这种对局部场景和全局地图的多模态联合学习，使模型能够深入理解时空关系和道路拓扑结构，扩展其对三维动态/静态场景的综合感知和推理能力，从而实现跨场景的泛化和一致性驾驶。为了支持训练，本文构建了首个用于三维空间理解和长轴任务推理的综合VQA驾驶指令数据集（见图1中间），重点关注多模态、多视图和多帧背景下的分层场景理解和可解释的端到端驾驶任务。此外，本文还详细介绍了一种面向任务的三阶段训练流程，用于监督微调（见图1右侧），包括混合对齐预训练、场景理解微调，以及端到端驾驶微调。本文的主要贡献如下：

我们提出了Sce2DriveX，这是一种类似人类思维链推理的MLLM框架，旨在实现从多视图远程场景理解，到行为分析、运动规划和车辆控制的渐进式推理学习。
我们构建了首个用于三维空间理解和长轴任务推理的综合VQA驾驶指令数据集，并引入了一种面向任务的三阶段训练流程，以增强Sce2DriveX的感知推理能力。

大量实验表明，Sce2DriveX在场景理解、元动作推理、行为解释分析、运动规划和控制信号生成等任务中，均取得了最先进的性能。

Sce2DriveX方法详解

Sce2DriveX框架

本文旨在开发一种类似人类思维链（CoT）推理的多模态大语言模型（MLLM）框架，实现从多视图长距离场景理解，到行为分析、运动规划，再到车辆控制这一驾驶过程的渐进式推理学习。如图2所示，Sce2DriveX由四个组件构成：1）模态编码器，包含一个视频编码器和一个图像编码器，由OpenCLIP进行初始化；2）共享投影层，采用两个带有高斯误差线性单元（GeLU）激活函数的全连接层；3）大语言模型骨干网络，选用Vicuna-v1.5-7b；4）文本编码器和解码器，由LLaMA提供。

多模态联合学习：给定文本指令，首先使用字节对编码（BPE）分词器将文本分割成常见的子词，每个子词对应一个唯一的对数几率（logit）。随后，利用文本编码器对这些对数几率进行编码：

其中，代表文本标记，为标记数量，是大语言模型的特征维度。

给定多视图场景视频和鸟瞰图（BEV）图像，这里是视频帧数，是原始图像分辨率，是通道数，我们采用补丁掩码（patch masking）方法。通过编码器掩码，选择并分割一小部分补丁，以缓解模态编码器中标记数量过多的问题。具体来说，视频信号和图像信号首先通过不重叠滤波器的补丁嵌入层，转换为相应的补丁和，其中是补丁数量，是每个补丁的大小。接着，对可见标记应用位置嵌入，并使用编码器掩码进行划分。组合后的视频序列和图像序列表示为：

其中表示一系列可学习的位置标记，和分别表示视频补丁和图像补丁的位置信息。

最后，使用视频编码器对视频序列进行编码，使用图像编码器对图像序列进行编码：

其中代表视频标记，代表图像标记，是视频标记数量，是图像标记数量，是统一的视觉特征维度。值得注意的是，为实现多模态语义对齐，我们采用了LanguageBind的模态编码方法，以文本作为不同模态之间的桥梁。基于对比学习原理，将其他模态与文本模态绑定，并使其自发对齐到统一的视觉特征空间。

大语言模型骨干网络的统一处理：我们的目标是将多模态标记映射到文本嵌入空间，为大语言模型提供统一的视觉表示，然后将其与分词后的文本查询相结合，输入到大语言模型骨干网络中生成响应。具体而言，首先使用共享投影层对视频标记和图像标记进行映射：

其中代表统一的视觉标记，其特征维度与文本标记相同，是视觉标记数量。接下来，将统一的视觉标记与文本标记连接起来，输入到大语言模型骨干网络中进行处理，生成相应的预测标记。最后，这些预测标记由文本解码器解码为自然语言响应：

其中表示连接操作，，包括场景理解、元动作推理、行为解释分析、运动规划和控制信号生成。

综上所述，Sce2DriveX能够理解长距离时空关系和道路拓扑结构，增强三维场景感知和推理能力，实现跨场景驾驶的泛化。它还还原了人类驾驶的认知链，强化了自动驾驶与人类思维之间的一致性。

VQA驾驶指令数据集

为了训练Sce2DriveX，本文构建了首个用于三维空间理解和长轴任务推理的综合VQA驾驶指令数据集。该数据集基于开源的nuScenes，整合了多视图场景视频（局部）、鸟瞰图图像（全局）和多轮问答注释这三种模态的结构化数据。如图3所示，该数据集包含两个子集：1）分层场景理解数据集；2）可解释的端到端驾驶数据集。

分层场景理解

分层场景理解数据集通过可扩展的自动化流程生成，为交通场景提供分层、结构化的描述。它涵盖天气、道路、设施和交通参与者（三维）等方面，对模型的三维空间理解能力提出挑战。图3展示了其构建过程，包括分层场景开发、问题集与答案模板设计、多轮问答生成和人工后处理。

分层场景系统开发：为提高模型对长尾场景的识别能力，我们开发了一种新颖的分层场景系统来对交通场景进行分层描述，它涵盖四个要素：。每个要素都有多个属性。具体来说，天气状况包括<类型>、<时间>和<等级>，反映驾驶难度；道路状况包括<类型>、<结构>、<方向>和<功能>，决定驾驶模式；交通设施分为交通标志和道路标线，用于规范驾驶行为，我们定义了它们的固有属性，包括<类型>和<方向>；交通参与者涵盖<类别>、<状态>、<大小>、<位置>和<方向>，影响驾驶状态。基于上述属性，我们为每个交通参与者标注两个特征：三维固有特征，用于捕捉类别、三维尺寸、当前状态、位置和方向等静态属性；二维运动特征，通过当前和历史位置描述动态行为。附录中提供了更多详细信息。

我们构建了一个场景图来可视化分层场景系统。如图3（右）所示，该图通过结构化关系增强了视觉场景：中心节点代表自车，中间节点代表四个场景要素，最外层节点表示它们的属性。节点之间通过表示动作（动词）或空间关系（介词）的边连接。

问题集与答案模板设计：基于分层场景系统，我们围绕每个场景要素手动设计了四个问题集：。为避免模型过度拟合固定的问题模式，每个问题集针对单个问题选项包含多个同义表达。为此，我们参考了相关语法规则并收集了各种同义问题模式，最终为每个问题选项创建了至少两个语法正确且语义等效的表达。

利用场景图，我们手动设计了四个与问题集匹配的答案模板，其中包含各种参数化属性。我们遍历场景图的节点和边，将其转换为[要素 - 关系 - 属性]三元组，并为每个三元组编写固定文本。详细的问题集和答案模板见附录。 - 多轮问答生成和人工后处理：我们使用一个基于ChatGPT的自动化流程生成多轮问答注释。该流程处理多视图场景帧和鸟瞰图图像，以问题集和模板为上下文。ChatGPT对问题进行采样，结合视觉数据进行推理，并输出涵盖态势感知、目标识别、跟踪和空间定位的实例化模板。

一个关键挑战是幻觉问题，即文本与视觉内容不匹配。为缓解这一问题，我们通过删除不适当的问答、纠正错误和补充缺失选项来手动优化注释。

可解释的端到端驾驶

可解释的端到端驾驶数据集通过面向意图认知的算法规则自动整合，实现了对驾驶过程的顺序化、透明化描述。它涵盖元动作、行为解释、规划轨迹和控制信号（多种类型），对模型的长轴任务推理能力提出挑战。图3（左）展示了其构建过程，包括运动控制信号处理、元动作规则制定和行为解释文本生成。

运动控制信号处理：运动控制信号包括规划轨迹和低级控制信号，其中是转向速率，是转向角度。原始的nuScenes注释为每个场景提供了相应的运动控制信号。我们将这些信号解析为结构化的JSON条目并进行分类。具体来说，我们将历史轨迹和控制信号作为已知信息，结合任务背景文本，纳入系统提示中辅助推理。此外，我们将未来轨迹和当前/下一帧控制信号作为真实标签，填入预定义模板以优化预测。
元动作规则制定：自车的元动作表示为横向速度等级估计、纵向速度等级估计和转向等级估计的组合，即。我们定义了一个阈值空间。基于，我们详细制定了每个组件的判断规则。和由当前帧加速度与预定义阈值的关系决定。遵循分层判断原则，首先根据当前帧排除怠速和直线行驶动作，然后遍历满足直线行驶条件的未来时间步。左转/右转和微左转/右转根据偏航率增益、横向位移与阈值的关系确定。附录中提供了详细规则。

使用组合方法，我们生成了64种元动作类型，模拟车辆在各种场景下的行为模式。每个元动作表示为一个连续状态，与现实世界中人类的驾驶意图一致。

行为解释文本生成：行为解释文本对自车的短期驾驶策略进行原因分析，增强了整个决策过程的可解释性。我们利用ChatGPT的API接口进行生成：将场景理解问答注释和元动作作为上下文信息，促使ChatGPT自动生成元动作的分析解释。与手动注释方法相比，这种方式生成的行为解释文本更加多样，能够全面准确地反映潜在的交通因素（如交通规则）和社会因素（如社会背景）。

训练流程

为进一步提升Sce2DriveX的感知推理性能，本文引入了一种面向任务的三阶段训练流程，包括：1）混合对齐预训练；2）场景理解微调；3）端到端驾驶微调。

混合对齐预训练：此阶段对齐图像/视频表示和大语言模型骨干网络的特征空间。Sce2DriveX在CC3M图像文本和WebVid-10M视频文本数据集上进行预训练，这些数据集涵盖自动驾驶以外的各种主题。在此阶段，视频编码器、图像编码器和大语言模型骨干网络的权重被冻结，仅训练共享投影层的参数。
场景理解微调：该阶段增强模型的三维空间感知能力，以实现分层场景理解。Sce2DriveX在数据集上进行微调，使用文本交叉熵损失监督其推理过程。
端到端驾驶微调：此阶段提升模型的长轴任务推理能力，以实现可解释的端到端驾驶。Sce2DriveX在可解释的端到端驾驶数据集上进行微调，采用与场景理解阶段相同的训练策略。

实验结果分析

实验设置

训练细节：将每张图像裁剪为224×224大小。从每个视频中均匀采样8帧，并对每帧进行图像预处理。每批数据包含图像和视频的组合。在预训练阶段，模型在6块80GB的A100 GPU上进行1个epoch的训练，批量大小为128。在微调阶段，使用AdamW优化器和余弦退火学习率调度器，初始学习率设置为2e-5，热身比率为0.03，梯度累积步数为2。具体来说，场景理解微调阶段对模型训练1个epoch，而端到端驾驶微调阶段对模型训练3个epoch。整个过程在8块48GB的L20 GPU上完成，每块GPU的批量大小为4。

分层场景理解

评估Sce2DriveX在分层场景理解任务中的性能。评估指标包括自然语言处理（NLP）指标，如BLEU4（B4）、ROUGE（R）、METEOR（M）、CIDEr（C）和准确率（Acc）。NLP指标用于评估文本生成质量，而准确率用于衡量与真实标签（GT labels）的一致性。需要注意的是，此处仅关注交通参与者类型的准确率。由于该任务没有基准方法，表1仅报告Sce2DriveX的结果，旨在为未来自动驾驶中分层场景理解的研究提供启发。

可解释的端到端驾驶

报告可解释的端到端驾驶任务的所有评估指标。对于运动规划（提前3秒规划的轨迹），使用L2误差（单位：米）。对于元动作推理，采用加权准确率αAcc（%），为元动作的不同部分分配特定权重，其中转向估计的权重为0.7，速度估计的权重为0.3。对于行为解释分析，使用NLP指标和GPT分数。对于控制信号生成，包括下一时刻的速度（单位：米/秒）和转向角度（单位：度），以及当前帧的加速度（单位：米/秒²）和转向速率（单位：度/秒），采用均方根误差（RMSE）。

表2展示了Sce2DriveX与基准方法在运动规划方面的对比结果（所有实验均在nuScenes数据集上进行）。与基于小模型的方法，如NMP、FF、ST-P3、UniAD和VAD，以及基于大语言模型的方法，如GPT-Driver、OmniDrive和DriveVLM相比，Sce2DriveX实现了最低的L2误差，证明了其在规划类人驾驶轨迹方面的有效性和稳健性。值得注意的是，Sce2DriveX没有使用任何隐式后处理或数据增强技术来进一步提升性能。

为了进一步验证Sce2DriveX在元动作推理、行为解释分析和控制信号生成方面的性能，使用综合VQA驾驶指令数据集实现了最新的基于多模态大语言模型的基准方法：DriveGPT4和RAG-Driver。参数设置和模型输出与原文保持一致。表3将Sce2DriveX与基准方法进行了比较，结果显示它在准确率、NLP指标和GPT分数方面均达到最高，显著提高了端到端驾驶的透明度和可解释性。此外，Sce2DriveX在速度、转向角度、加速度和转向速率的均方根误差更低，展现出卓越的推理能力。

消融实验

进行消融研究以评估Sce2DriveX框架中每个模块的贡献。具体设置包括：1）仅使用上下文学习策略测试模型（ICL）；2）从数据集中排除与元动作和解释相关的问答（w/o CoT）；3）省略场景理解微调阶段（w/o SU Fine-tuning）；4）使用前视图场景视频作为输入（w/o Multi-view）；5）移除图像编码器组件（w/o Image Encoder）。表4给出了消融研究的定量结果。可以观察到，当框架中的任何模块被更改或移除时，模型性能都会下降，从而验证了Sce2DriveX框架的合理性和有效性。

泛化性分析

为了进一步评估Sce2DriveX的泛化能力，进行了跨数据集测试。具体而言，从驾驶模拟数据集Bench2Drive中获取各种风格的极端情况样本。为了便于可视化，仅展示当前帧的全景图像。如图4所示，可以观察到Sce2DriveX能够以零样本迁移的方式生成令人满意的响应，展现出出色的泛化能力。

定性展示

图5展示了Sce2DriveX在复杂户外驾驶场景中推理过程的可视化示例，展示了其从分层场景理解到符合人类共识的端到端驾驶进行渐进式推理的能力。附录中提供了综合VQA数据集的更多定性比较和可视化结果。

结论

本文提出了Sce2DriveX框架，实现了从分层场景理解到可解释的端到端驾驶的渐进式推理。通过对局部场景和全局地图的多模态学习，该框架深入理解了长距离时空关系和道路拓扑结构，增强了跨场景驾驶的泛化性和一致性。我们构建了首个用于三维空间理解和长轴任务推理的综合视觉问答（VQA）驾驶数据集，并引入了面向任务的三阶段监督微调方法。实验结果表明，Sce2DriveX在场景理解、元动作推理、行为解释、运动规划和控制信号生成等方面表现卓越。我们希望这项工作能为多模态大语言模型在自动驾驶中的应用提供新的思路。

① 自动驾驶论文辅导来啦

② 国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描加入

③全网独家视频课程

端到端自动驾驶、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）