51-26 DriveMLM：多模态大模型与自动驾驶规划对齐

DriveMLM是来自上海AILab、港中文、商汤、斯坦福、南京大学和清华大学的工作。该模型使用各种传感器(如相机、激光雷达)、驾驶规则和用户指令作为输入，采用多模态LLM对AD系统的行为规划进行建模，做出驾驶决策并提供解释。该模型可以用于闭环自动驾驶，在Apollo等现有AD系统中即插即用。

论文完整名称是DriveMLM:Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous，于2023年12月发布，尚未完全开源。

本文由深圳季连科技有限公司AIgraphX自动驾驶大模型团队编辑。如有错误，欢迎在评论区指正。

Abastract

大型语言模型 (LLM) 为智能代理开辟了新的可能性，赋予它们类人思维和认知能力。在这项工作中，我们深入研究了大型语言模型 (LLM) 在自动驾驶 (AD) 中的潜力。我们引入了DriveMLM，这是一个基于LLM的AD框架，可以在逼真的模拟器中执行闭环自动驾驶。为此，

(1)我们通过根据现成的运动规划模块对决策状态进行标准化来弥合语言决策和车辆控制命令之间的差距。

(2)采用多模态LLM (MLLM)对AD系统的行为规划进行建模，该模型使用各种传感器(如相机、激光雷达)、驾驶规则和用户命令作为输入，做出驾驶决策并提供解释；该模型可以用于闭环驾驶，在Apollo等现有AD系统中即插即用。

(3) 我们设计了一个有效的数据引擎来收集一个数据集，其中包括决策状态和相应的解释标注，用于模型训练和评估。我们进行了广泛的实验，，证明了方法的有效性。模型在 CARLA Town05 Long 上实现了 76.1 的驾驶分数，在相同的设置下超过了 Apollo 基线 4.7 分。我们希望这项工作可以作