51-26 DriveMLM：多模态大模型与自动驾驶规划对齐

深圳季连AIgraphX

已于 2024-03-13 17:59:59 修改

阅读量1.7k

点赞数 14

分类专栏： aiXpilot 智驾大模型1 文章标签：自动驾驶语言模型智慧城市计算机视觉人工智能

于 2024-03-04 19:22:25 首次发布

本文链接：https://blog.csdn.net/weixin_45035094/article/details/136229917

版权

59 篇文章 ¥89.90 ¥99.00

订阅专栏

DriveMLM是一个基于多模态LLM的自动驾驶框架，能够结合传感器输入、驾驶规则和用户指令进行闭环自动驾驶。模型通过决策状态对齐，将LLM的输出转化为车辆控制信号，并提供驾驶决策的解释。在CARLA模拟器上，DriveMLM在闭环驾驶中表现出色，优于Apollo基线。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DriveMLM是来自上海AILab、港中文、商汤、斯坦福、南京大学和清华大学的工作。该模型使用各种传感器(如相机、激光雷达)、驾驶规则和用户指令作为输入，采用多模态LLM对AD系统的行为规划进行建模，做出驾驶决策并提供解释。该模型可以用于闭环自动驾驶，在Apollo等现有AD系统中即插即用。

论文完整名称是DriveMLM:Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous，于2023年12月发布，尚未完全开源。

本文由深圳季连科技有限公司AIgraphX自动驾驶大模型团队编辑。如有错误，欢迎在评论区指正。

Abastract

大型语言模型 (LLM) 为智能代理开辟了新的可能性，赋予它们类人思维和认知能力。在这项工作中，我们深入研究了大型语言模型 (LLM) 在自动驾驶 (AD) 中的潜力。我们引入了DriveMLM，这是一个基于LLM的AD框架，可以在逼真的模拟器中执行闭环自动驾驶。为此，

(1)我们通过根据现成的运动规划模块对决策状态进行标准化来弥合语言决策和车辆控制命令之间的差距。

(2)采用多模态LLM (MLLM)对AD系统的行为规划进行建模，该模型使用各种传感器(如相机、激光雷达)、驾驶规则和用户命令作为输入，做出驾驶决策并提供解释；该模型可以用于闭环驾驶，在Apollo等现有AD系统中即

了解本专栏