[GPT读论文]LANGUAGEMPC: LARGE LANGUAGE MODELS AS DECISION MAKERS FOR AUTONOMOUS DRIVING

这篇论文的标题是《LanguageMPC: 使用大型语言模型作为自动驾驶决策制定者》，它提出了一种新的方法，使用大型语言模型（LLMs）作为自动驾驶（AD）系统中的决策制定组件，特别是在需要人类常识理解的复杂驾驶场景中【63†source】。以下是论文的主要内容概述：

1. 引言

论文指出，现有的基于学习的自动驾驶系统在理解高级信息、泛化到罕见事件以及提供可解释性方面面临挑战。现有系统通常依赖预定义的规则基础，限制了它们在各种情境中的泛化能力。此外，这些系统在解释性方面也存在不足【64†source】。

2. 主要贡献

• 链式思维框架：为LLMs开发了专用的链式思维框架，将分析和决策过程划分为多个子问题，使LLMs能够进行全面的逻辑推理并做出明智的决策。
• 技术开发：开发了技术，将LLMs提供的高级文本决策指导底层控制器，构建了一个综合性的AD系统，能够基于观察数据直接给出精确的驾驶行为。
• 定量实验：进行了定量实验，显示了LLMs增强的AD系统在性能上显著超越现有方法。这些实验展示了系统在包括多车辆协调和基于文本输入的驾驶行为调节等复杂任务中的成功【65†source】。

3. 方法

• LLM决策制定：LLM作为高级决策制定的核心，通过对话收集环境信息，并进行推理和判断。然后，系统将这些高级文本决策转化为数学表示，包括观察矩阵、权重矩阵和行动偏置，用于指导底层控制器模型预测控制（MPC）【67†source】。
• 背景：MPC解决基于当前测量信息的有限时间开环优化问题，并将具有最低成本的控制序列的第一个元素应用于受控车辆【68†source】。
• 链式思维：使用LangChain框架管理LLM，并建立结构化的思维过程。该过程通过一系列工具和特定顺序来获取相关信息和决策指导【69†source】。
• 注意力分配：LLM系统地评估周围车辆的信息，判断这些车辆的意图，并确定它们是否与自车的运动冲突【70†source】。
• 情境意识与行动指导：LLM负责从多个选项中选择特定情境，并提供加速和转向指导【71†source】。
• 多车辆联合控制：提出了一个解决方案，其中每辆车由一个分布式LLM单独控制，一个中央LLM作为车队的“大脑”进行多车辆通信和协调【72†source】。

4. 实验

• 单车辆决策制定：对三种不同的方法进行了评估：基于强化学习的规划（RL）、MPC以及LLM+MPC。在各种场景中进行了测试，包括有信号的交叉

路口、无信号的交叉路口、车道、紧急避障和环岛，展示了系统在安全性和效率上的优势【73†source】。

• 情境意识和行动指导：论文中的一个例子展示了LLM在理解复杂交通场景和评估自身情况方面的能力，生产出接近人类思维的决策【74†source】。
• 消融实验：在两种典型驾驶场景中进行了消融实验，结果表明系统在决策制定方面的重要性【75†source】。
• 多车辆联合控制：在狭窄的道路遇车场景中评估了方法的有效性，展示了系统在复杂环境中的适应性和有效性【76†source】。
• 文本调节驾驶行为：系统可以根据文本描述简化驾驶行为调整的过程，显示了处理复杂交通场景的能力【77†source】。

5. 结论

论文展示了LLMs作为AD系统中高级决策制定核心组件的有效性。结合LLM和MPC的方法在关键指标上显著优于现有方法，并能够处理复杂的真实世界驾驶场景。LLMs的推理能力和可解释性有助于克服当前基于学习的AD系统在适应性和透明度方面的局限性。该论文为开发安全、高效、可泛化和可解释的基于LLM的AD系统提供了一个起点，并希望成为未来研究的灵感来源【78†source】。

这篇名为“LanguageMPC: 大型语言模型作为自动驾驶决策者”的论文是由清华大学、香港大学和加州大学伯克利分校的研究者共同完成的。主要作者包括Hao Sha, Yao Mu, Yuxuan Jiang, Guojian Zhan, Li Chen, Chenfeng Xu, Ping Luo, Shengbo Eben Li, Masayoshi Tomizuka, Wei Zhan和Mingyu Ding。

研究重点和解决的问题

该论文关注现有基于学习的自动驾驶（AD）系统面临的挑战，尤其是在理解高级信息、泛化到罕见事件和提供可解释性方面的挑战。为了解决这些问题，研究采用了大型语言模型（LLM）作为复杂AD场景中的决策组件，这些场景需要人类常识的理解。该方法旨在将LLM的决策与低级控制器集成，以实现可操作的驾驶命令。

提出的解决方案和方法论

提出的方法包括使用认知路径来实现对LLM的全面推理，并开发算法将LLM的决策转换为可操作的驾驶命令。该系统将这些决策与模型预测控制（MPC）框架集成。LLM分析各种场景，提供高级决策，然后转换为数学表示，以指导MPC进行决策。这种集成旨在提高AD系统的安全性、效率、泛化性和互操作性。

实验和验证

为了展示所提方法的有效性，进行了广泛的实验。这些实验包括单车决策任务和多车联合控制场景。场景涉及复杂的驾驶行为和情况，如导航交叉路口、环形交叉路和紧急避障。该系统的性能与基准方法进行了比较，包括基于强化学习的规划（RL）和标准MPC方法。论文提供了定量和定性结果，显示LLM增强系统在各种指标上一致超过基准方法。

数据集和基线

实验使用了IdSim平台生成的场景地图和交通流。评估了三种不同的方法：RL、MPC和提出的LLM+MPC系统。每种方法都在不同的场景中进行了测试。研究提供了综合的性能分析，考虑了安全性和效率指标。

总之，该论文提出了一种在自动驾驶系统中使用LLM的新方法，展示了在处理复杂驾驶场景方面的重大进步，提高了安全性和效率。这项研究为该领域未来的发展奠定了基础。