GenFollower：利用大语言模型增强跟车预测

24年7月来自香港科技大学广州分校的论文“GenFollower: Enhancing Car-Following Prediction with Large Language Models”。

准确建模跟车行为对于交通管理和自动驾驶系统中的各种应用至关重要。然而，当前的方法往往存在诸如对数据质量高度敏感和缺乏可解释性等局限性。本研究GenFollower，是一种零样本提示方法，它利用大语言模型 (LLM) 来应对这些挑战。将跟车行为重新定义为语言建模问题，并将异构输入集成到 LLM 的结构化提示中。与传统基线模型相比，这种方法实现更好的预测性能和可解释性。

现有的跟车研究探索了一系列建模方法，包括基于物理的模型和数据驱动的方法。然而，仍然存在重大的研究空白。首先，目前的模型在长期预测跟车行为方面往往准确度有限，无法捕捉到长期内复杂的动态。其次，虽然基于深度学习的方法取得了有希望的结果，但它们的黑箱性质带来了挑战，因为它们会生成未来行为的预测，而不会对其输出提供实质性的解释，因此很难理解它们决策背后的原因。

最近，大语言模型 (LLM) 领域的进展彻底改变了自然语言处理等行业，展示了其在信息理解和常识推理方面的强大能力。值得注意的是， [1][2][3] 的研究已成功利用 LLM 完成与自动驾驶相关的任务，例如运动规划和感知，凸显了它们对该领域的潜在贡献。这为 LLM 在跟车方面的探索铺平了道路，这是自动驾驶的一个关键方面，目前的 LLM 研究仍未解决。

总体而言，传统的跟车模型提供了理论基础，而数据驱动的方法则利用现实世界的数据来提高预测准确性。LLM 为理解和推理复杂的驾驶场景提供了一种新范式，可能应用于自动驾驶的各个方面。虽然 LLM 在感知和规划任务中表现出了良好的前景，但在预测和透明可解释性方面对跟车的潜力仍未得到充分开发。

如图描述 GenFollower 的总体流程。将预测跟车行为的任务概念化为语言建模问题。用自然语言来表达对驾驶环境的观察，作为输入 LLM 的提示。采用零样本方法，这意味着不需要对每个特定任务进行大量的再训练，从而允许 LLM（例如 ChatGPT-4 [35]）从其庞大的内部知识库中学习并预测跟车行为。通过将解释性要求纳入提示， GenFollower 可以同时预测跟车行为并为其预测提供解释，从而增强可解释性。

如图描述了跟车事件。输入特征的四个维度捕捉跟车行为的关键方面：前车（LV）的速度（vLV）、后车（FV）的速度（vFV）、两车之间的相对间距（∆d ）和相对速度（∆vt）。之所以选择这些特征，是因为它们捕捉了跟车行为的关键方面，包括车辆之间的相对距离、车辆当前速度以及速度差。模型的输出是 FV 在下一时间步的速度。

GenFollower 流程​​涉及多个阶段，如图所示，将原始数据转换为有意义的预测和解释：

LLM 通常以自然语言提示的形式接收输入。在方法中，用自然语言提示的强大功能，因为 LLM 擅长基于文本信息进行理解和推理。提示以自然语言描述当前的观察结果，指导 LLM 生成准确的预测。输入提示由两部分组成：提供驾驶场景背景的系统消息，以及提示 LLM 采取特定行动或预测的用户消息。

如下所示为预测的系统消息例子：系统消息提供了 ChatGPT 的角色和任务，以及如何构建响应的指南。它概述了 LLM 在预测跟车行为中的作用，指定了所使用的输入信息，并定义了输出预测的格式。

如图所示是预测的用户消息例子：用户消息描述了当前跟车相对于前车的状态，该状态随着跟车的每个时刻而变化。它包括过去四秒内的历史跟车状态的详细信息。另外采用思维链（CoT）提升其预测能力。

OpenAI 为 GPT-3.5 模型引入了微调功能，这为 LLM 训练开辟了新的可能性。然而，这一进步就会思考一个关键问题：跟车模型是否应该旨在复制训练数据集中观察到的精确行为？模仿人类驾驶倾向是否必然转化为自动驾驶汽车的最佳跟车行为？

最近的研究表明，监督学习方法依赖于人类演示提供的数据，旨在近似车辆状态与车辆加速行为之间的关系。本质上，它们旨在模仿人类驾驶员的跟车行为。在自动驾驶领域，一些成功的方法 [38]、[39]、[32] 仅通过提示工程就取得了良好的效果，而无需对 GPT 模型进行微调。此外，随着 OpenAI 发布 GPT-3.5 的微调功能，有机会探索如何将微调与提示工程相结合以进一步提高性能。然而，仅仅模仿人类的驾驶行为不一定是自动驾驶的最佳解决方案。首先，用户可能不希望自动驾驶汽车完全像他们一样驾驶 [40]。其次，除了复制人类驾驶员之外，驾驶还应针对安全性、效率和舒适性进行优化，因为人类驾驶员可能并不总是以最佳方式驾驶 [41]。

利用 OpenAI 的指导方针，本文工作整理了一个用于微调的数据集，使用真实世界的速度数据作为构建辅助消息的基本事实。其方法遵循推荐的做法，将 50 个车辆跟踪数据实例纳入微调过程。如图说明了从选定的车辆跟踪数据实例构建微调数据集的过程。

与仅关注轨迹生成的传统运动规划方法不同，该方法同时生成速度预测 V 和显式推理过程 R，从而提高决策过程的透明度。

总体而言，GenFollower 模型利用 LLM 的功能来预测自动驾驶系统中的跟车行为。如图是一个说明性示例，展示了行动决策过程背后的详细推理过程和原理。