清华&港大提出LanguageMPC：将大语言模型和MPC相结合的新型类人智驾系统

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【自动驾驶和Transformer】交流群

作者：穆尧（源：知乎，已授权）| 编辑：CVer公众号

https://zhuanlan.zhihu.com/p/659675174

在CVer微信公众号后台回复：MPC，可以下载本论文pdf，学起来！

面对复杂多变的交通场景，基于学习的方法已成为了实现高级别自动驾驶系统的主流方案。然而，基于学习的自动驾驶系统仍面临以下挑战：

• 对复杂的规则和奖励函数设计的需求使其在理解交通法规等高级信息上存在困难。

• 受限于数据量和采样效率，处理罕见事件是其面临的一大挑战。

• 由于神经网络的黑盒特性，现有基于学习的自动驾驶系统缺乏良好的可解释性。

针对以上问题，我们提出将大语言模型（LLM）作为自动驾驶系统的决策核心，利用LLM像人一样思考的能力，将人类常识和推理能力作为自动驾驶系统决策的指导。同时，我们开发了将LLM给出的高层决策转化为具体驾驶行为的方法，将高层决策与底层控制器无缝结合。

在CVer微信公众号后台回复：MPC，可以下载本论文pdf，学起来！

LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving

论文：https://arxiv.org/abs/2310.03026

项目网站：https://sites.google.com/view/llm-mpc

LanguageMPC：将大语言模型与模型预测控制无缝结合

LanguageMPC首次将LLM应用于驾驶场景，并设计了将文字形式高层决策转化为可操作驾驶行为的方法。我们定量的证明了LanguageMPC在路口和环岛等复杂交通场景中均优于现有基于学习和基于优化的自动驾驶系统。同时，我们还展示了LanguageMPC在应对多车协同控制、文字辅助驾驶等复杂任务时的强大性能。

LanguageMPC的技术核心在于以下两点：

• 专用于驾驶场景的思维链框架。我们使用Langchain管理LLM，通过设计初始prompt和多种工具，指导LLM依次完成对周车的意图判断和注意力分配、判断自车所处情景、给出驾驶动作指引等任务。我们将整个驾驶任务划分为多个子任务，并重新设计了场景信息组织方式，通过确保信息的简洁性来提升LLM的推理能力。

• 高层决策与模型预测控制衔接。我们设计了将文字形式的高层决策转化为可操作的驾驶行为的方法。具体而言，我们根据LLM的选择来重计算观测矩阵，调整MPC的注意力分配；调整惩罚函数的参数矩阵，使用LLM给出的情景判断指导MPC；将LLM的驾驶运动指引转化为运动偏置，直接调整MPC的驾驶行为。

实验结果

• 定量实验

我们的方法在几乎所有指标上都有明显提升，并且显著降低了碰撞几率和总体Cost。

• 路口无保护左转

在路口左转时，LanguageMPC能根据交通规则让行对向直行车辆。

• 路口直行和变道超车

路口直行时，LanguageMPC能遵守路口内不超车的规则，并在到达车道内后迅速超车。

• 多车联合控制：窄路会车

LanguageMPC通过信息汇总和分别控制，实现了高效的多车联合控制，完成窄路会车。

• 调控驾驶风格

LanguageMPC能根据文字指引，简单直接的调控驾驶风格。

• 文字指导驾驶

LanguageMPC在文字指引下避开了维修路段。

LanguageMPC在关键指标上大大优于现有方法，并能处理复杂的真实世界驾驶场景，可在各种驾驶场景中实现与人类类似的性能，其推理能力和可解释性有助于克服当前基于学习的驾驶辅助系统在适应性和透明度方面的局限性。

在CVer微信公众号后台回复：MPC，可以下载本论文pdf，学起来！

点击进入—>【自动驾驶和Transformer】交流群

ICCV / CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集

自动驾驶和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-自动驾驶或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如自动驾驶或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！

▲扫码进星球
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看