X-Driver：迈向可解释VLM自动驾驶（哈工大&百度）-CSDN博客

点击下方卡片，关注“自动驾驶之心”公众号

>>点击进入→自动驾驶之心『多模态大模型』技术交流群

本文只做学术分享，如有侵权，联系删文

背景

传统模块化自动驾驶系统存在错误传播和泛化能力不足的问题，而端到端方法虽简化了系统设计，但在闭环场景中成功率较低。现有基于多模态大语言模型（MLLMs）的框架在闭环评估中易出现幻觉（不合理决策）和鲁棒性不足。为此，X-Driver提出结合链式思维（CoT）推理和MLLMs，旨在提升决策的可解释性与闭环性能。

论文链接：https://arxiv.org/abs/2505.05098

摘要

X-Driver通过以下核心设计实现目标：

多模态融合与CoT推理
基于LLaVA模型，整合视觉（图像）与文本（导航指令）输入，利用CoT提示分解驾驶任务为多步推理（如目标检测、交通灯状态判断），生成结构化决策流程（参见Figure 3）。

连续图像编码
采用ViT编码器替代VQ-VAE，保留远距离交通灯等关键场景信息，减少信息损失。
闭环框架设计
在CARLA仿真环境中验证，通过实时传感器输入与动态调整实现闭环控制，显著提升驾驶评分（Driving Score）和成功率（Success Rate）。

方法

核心架构

输入：图像（相机数据）与文本（导航指令）的多模态输入。
推理流程：

通过CoT提示将任务分解为子任务（目标检测、交通灯状态、车道信息等）。
模型整合历史token与当前输入，生成最终决策与轨迹预测（如Table 1所示场景指令）。

闭环控制：根据预测轨迹动态调整车辆动作（Figure 1）。

关键技术

CoT训练数据：通过高质量提示模板引导模型分步推理（如“先定位目标→分析运动→判断风险→更新决策”）。
连续编码优势：ViT编码器在远距离目标检测中比VQ-VAE保留更多细节（如交通灯状态），提升感知精度（Table 2）。

实验与结果

闭环性能

指标：Driving Score（综合路线跟随、速度控制、交规遵守）与Success Rate（任务完成率）。
对比结果：
- 在Bench2Drive数据集上，X-Driver（带CoT）的Driving Score达51.7（vs. UniAD的45.9），Success Rate提升至18.1%（Table 4）。
- CoT版本在行人避让等场景中显著优于无CoT模型（Figure 4）。

轨迹预测

开环实验：未来3秒轨迹的平均位移误差（ADE）为1.488米，预测精度优于传统方法（Table 3）。

不足与未来展望

局限性

场景泛化性：实验主要基于仿真环境（CARLA），未验证极端天气或高度复杂城市路况。
实时性：MLLM的计算开销可能影响实时响应，需进一步优化推理速度。

未来方向

多模态扩展：融合激光雷达、雷达等传感器，增强环境感知鲁棒性。
轻量化部署：通过知识蒸馏或模型压缩技术适配边缘设备。
跨数据集验证：在真实道路数据（如nuScenes）中测试泛化能力。

前沿的更迭速度很快，有没有一个专业的技术社区一直follow学术界的前沿研究和工业界的量产落地？带着这个想法，我们打造了『自动驾驶之心知识星球』。我们为大家准备了大额优惠，欢迎加入~

4000人专业自动驾驶社区！欢迎扫码加入~

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com