生成任何轨迹！模拟任何交通场景！DriveArena：闭环自动驾驶模拟器的飞跃！

生成任何轨迹！模拟任何交通场景！DriveArena：闭环自动驾驶模拟器的飞跃！

0. 这篇文章干了啥？

近几十年来，自动驾驶（AD）算法取得了飞速发展，从模块化流水线发展到端到端模型和知识驱动方法。尽管这些算法在各种基准测试中展示了出色的性能，但在使用重放开环数据集评估时，仍面临重大挑战，这掩盖了它们在现实世界中的有效性。

附赠自动驾驶最全的学习资料和量产经验：链接

公共数据集虽然提供了具有真实传感器输入和交通行为的驾驶数据，但本质上偏向于简单的直线行驶场景。在这种情况下，代理只需保持当前状态即可实现看似良好的性能，从而复杂化了在复杂情况下评估实际驾驶能力的工作。此外，在开环评估中，代理的当前决策不会影响执行或后续决策，这使其无法反映现实世界驾驶场景中的累积错误。另外，由于记录的数据集具有静态特性，其他车辆无法对自车行为做出反应，这进一步阻碍了在动态、真实世界条件下对自动驾驶算法的评估。

我们分析了现有的自动驾驶方法和平台，发现其中大多数都不足以进行高保真度的闭环模拟。理想情况下，作为具身智能的一个方面，应在闭环环境中对代理进行评估，其中其他代理会对自车行为做出反应，而自车则会相应地接收到变化的传感器输入。然而，现有的模拟环境要么无法模拟传感器输入，要么与真实世界存在显著的领域差距，这使得算法难以无缝集成到现实世界中，从而对闭环评估构成了巨大挑战。我们认为，模拟器不仅要紧密反映现实世界的视觉和物理特性，还应在探索性闭环系统中促进模型的不断学习和进化，以适应各种复杂的驾驶场景。为了实现这一目标，必须建立一个符合物理定律并支持交互功能的高保真模拟器。

因此，我们推出了DRIVEARENA，一个基于条件生成模型的先驱性闭环模拟器，用于训练和测试驾驶代理。具体而言，DRIVEARENA提供了一个灵活的平台，可与任何基于摄像头输入的驾驶代理集成。它采用模块化设计，自然支持各模块的迭代升级。DRIVEARENA由交通管理器（Traffic Manager）和世界梦想家（World Dreamer，基于自回归生成）组成。交通管理器可以在全球任何道路网络上生成逼真的交互式交通流，而世界梦想家则是一个具有无限自回归能力的高保真条件生成模型。驾驶代理通过与环境交互来学习，在DRIVEARENA中，这种交互是通过驾驶代理接收来自环境的图像和状态信息，并基于这些信息执行驾驶操作来实现的。然后，环境会根据驾驶代理的操作更新其状态，并生成新的图像和状态信息，从而形成一个闭环。这种闭环机制使得驾驶代理能够在不断变化的环境中持续学习和进化。驾驶代理应根据世界梦想家生成的图像做出相应的驾驶动作，并将这些动作反馈回交通管理器以更新环境中车辆的状态。新的场景布局将返回给世界梦想家进行新一轮的模拟。这一迭代过程实现了驾驶代理与模拟环境之间的动态交互。

下面一起来阅读一下这项工作~

1. 论文信息

标题：DriveArena: A Closed-loop Generative Simulation Platform for Autonomous Driving

作者：Xuemeng Yang, Licheng Wen, Yukai Ma, Jianbiao Mei, Xin Li, Tiantian Wei, Wenjie Lei, Daocheng Fu, Pinlong Cai, Min Dou, Botian Shi, Liang He, Yong Liu, Yu Qiao

机构：上海AI Lab、浙江大学、上海交通大学、TUM、华东师范大学

原文链接：https://arxiv.org/abs/2408.00415

代码链接：https://github.com/PJLab-ADG/DriveArena

官方主页：https://pjlab-adg.github.io/DriveArena/

2. 摘要

本文介绍了DRIVEARENA，这是首个为高保真度闭环模拟系统设计的驾驶代理，用于在真实场景中导航。DRIVEARENA具有灵活、模块化的架构，可无缝互换其核心组件：交通管理器（Traffic Manager），这是一个能够在全球任何街道地图上生成逼真车流的交通模拟器；以及World Dreamer，这是一个具有无限自回归特性的高保真条件生成模型。这种强大的协同作用使任何能够处理现实世界图像的驾驶代理都能够在DRIVEARENA的模拟环境中进行导航。代理通过World Dreamer生成的图像感知周围环境，并输出轨迹。这些轨迹被输入到交通管理器中，以实现与其他车辆的逼真交互，并产生新的场景布局。最后，最新的场景布局被传回World Dreamer，从而延续模拟循环。这一迭代过程促进了在高度逼真环境中的闭环探索，为在各种复杂场景中开发和评估驾驶代理提供了一个有价值的平台。DRIVEARENA标志着在利用生成图像数据构建驾驶模拟平台方面取得了重大飞跃，为闭环自动驾驶提供了新的见解。

代码将很快在GitHub上发布：https://github.com/PJLab-ADG/DriveArena

3. 效果展示

从交互性和逼真度两个维度将DRIVEARENA与现有的自动驾驶方法和平台进行比较。交互性表示平台对车辆的控制，范围从开环、不可控闭环到可控闭环。逼真度反映了驾驶场景的真实性，从低到高依次为：仅交通流、不现实场景、现实场景和多样场景。DRIVEARENA独占右上角，是首个能够生成多样交通场景并为所有车辆提供闭环可控环视图像的模拟平台。

4. 主要贡献

具体贡献如下：

• 高保真闭环模拟：我们提出了首个用于自动驾驶的高保真闭环模拟器DRIVEARENA，它能够提供逼真的周围环境图像，并与现有的基于视觉的驾驶代理无缝集成。它能够紧密反映现实世界的视觉和物理特性，使代理能够在闭环方式下不断学习和进化，以适应各种复杂的驾驶场景。

• 可控性和可扩展性：我们的交通管理器可以动态控制场景中所有车辆的移动，并将道路和车辆布局输入给世界梦想家。世界梦想家利用条件扩散框架以稳定且可控的方式生成逼真的图像。此外，DRIVEARENA支持使用全球任何城市的道路网络进行模拟，能够创建具有不同风格的多样化驾驶场景图像。

• 模块化设计：驾驶代理、交通管理器和世界梦想家通过网络接口进行通信，构建了一个高度灵活和模块化的框架。这种架构允许在不需要特定实现的情况下，用不同方法替换各个组件。作为这些参与者的竞技场，DRIVEARENA促进了基于视觉的自动驾驶算法和驾驶场景生成模型的全面测试和改进。

5. 基本原理是啥？

如图2所示，我们提出的DRIVEARENA框架包含两个关键组件：一个是作为后端物理引擎的Traffic Manager，另一个是作为现实世界图像渲染器的World Dreamer。与传统方法不同，DRIVEARENA不依赖于预先构建的数字资产或重建的3D道路模型。相反，Traffic Manager能够适应OpenStreetMap（OSM）格式中任何城市的道路网络，这些网络可以直接从互联网上下载。这种灵活性使得DRIVEARENA能够在各种城市布局上进行闭环交通模拟。

Traffic Manager接收自动驾驶代理输出的自我轨迹，并管理所有背景车辆的移动。与同时依赖扩散模型进行图像生成和车辆移动预测的世界模型方法不同，我们的Traffic Manager采用显式的交通流生成算法。这种方法能够生成更广泛的不常见且可能不安全的交通场景，同时也有利于车辆之间的实时碰撞检测。

World Dreamer生成与Traffic Manager输出精确对应的逼真相机图像。它还允许用户定义的提示来控制生成图像的各种元素，如街景风格、一天中的时间和天气条件，从而增强了生成场景的多样性。具体来说，它采用了一个基于扩散的模型，该模型利用当前的地图和车辆布局作为控制条件来生成环视图像。这些图像作为端到端驾驶代理的输入。鉴于DRIVEARENA的闭环架构，扩散模型需要保持生成图像在跨视图和时间上的一致性。

当前帧生成的多视图图像被输入到端到端自动驾驶代理中，该代理可以输出自车的运动情况。然后，将规划的自车轨迹发送给DRIVEARENA以进行下一步的模拟。当自车成功完成整条路线、发生碰撞或偏离道路时，模拟结束。模拟完成后，DRIVEARENA执行全面的评估过程，以评估驾驶代理的能力。

值得注意的是，DRIVEARENA采用了分布式模块化设计。交通管理器（Traffic Manager）、世界梦想家（World Dreamer）和自动驾驶代理（AD agent）通过网络使用标准化接口进行通信。因此，DRIVEARENA并没有对世界梦想家或自动驾驶代理的具体实现做出强制规定。我们的框架旨在作为这些“玩家”的“竞技场”，促进端到端自动驾驶算法和真实驾驶场景生成模型的全面测试和改进。

6. 实验结果

为了评估我们生成的图像与原始nuScenes图像之间的模拟到现实的差距，我们采用了UniAD作为评估器。我们基于nuScenes验证集提供的原始布局，以2Hz的频率为150个场景生成了视频。为了进行比较分析，我们将MagicDrive设置为基准方法，并使用其官方代码和检查点进行推理。随后，我们在这些图像上执行UniAD，以计算包括3D目标检测、鸟瞰图（BEV）地图分割和规划在内的各种指标。结果总结在表1中。

表1显示，我们所有的指标均高于基准方法，甚至有几个指标超过了原始nuScenes的性能。此外，它还证明了我们模型在准确响应控制信号并严格遵守输入条件方面的卓越能力。这些发现为我们将生成器用作可靠模拟器奠定了坚实的基础。

在本节中，我们采用流行的端到端自动驾驶方法UniAD作为驾驶代理，在DRIVEARENA框架内测试其开环和闭环性能。我们使用了UniAD的开源代码和预训练权重，没有进行额外的训练。UniAD以2Hz的频率运行，输出未来3秒内包含6个路径点的轨迹。交通管理器进一步将此轨迹插值到10Hz。

开环评估。我们首先评估UniAD在DRIVEARENA开环模式下的性能。UniAD在以下三个场景中进行评估：1) 原始nuScenes图像序列；2) 由World Dreamer生成的nuScenes图像序列，其中车辆的轨迹与nuScenes的真实轨迹相同，但周围图像被替换为由World Dreamer生成的图像；3) DRIVEARENA自己的模拟序列（即DRIVEARENA的开环模式）。我们的评估指标包括PDM分数及其子分数，具体细节见第3.4节。此外，我们还评估了nuScenes中人类驾驶员驾驶的轨迹，作为人类驾驶员的性能表现。详细结果如表2所示。

闭环评估。我们进一步评估了UniAD在DRIVEARENA闭环模式下的性能。在该模式下，UniAD输出的轨迹直接用于控制自车，评估指标包括PDM分数（PDMS）、路线完成率（RC）和Arena驾驶分数（ADS）。我们的闭环实验在四条预设路径上进行，其中两条路径位于波士顿，两条位于新加坡。完成每条轨迹的模拟时间约为120秒。详细结果如表3所示。

7. 总结 & 未来工作

本文介绍了一种名为DRIVEARENA的新型闭环仿真平台，该平台专为基于视觉的驾驶代理设计。DRIVEARENA集成了交通管理器，该管理器可生成类似人类的交通流，以及具有无限生成能力的高保真生成模型World Dreamer。这种组合使得驾驶代理与仿真环境之间能够进行逼真的交互和连续的反馈。该系统为在各种场景下开发和测试自动驾驶代理提供了一个有价值的平台，标志着驾驶仿真技术的一大飞跃。

DRIVEARENA采用模块化架构设计，便于轻松替换各个模块。本文展示了DRIVEARENA的初步实现。作为首个高保真闭环模拟器，我们仍有一些局限性，有待未来改进：

数据多样性：当前的生成模型仅基于nuScenes数据集进行训练，这限制了数据的多样性和生成能力。我们计划扩展训练数据集，纳入更多样化的数据集，以增强模型的鲁棒性和通用性。

时间一致性：虽然我们可以通过自回归策略生成连续视频，但保持帧与帧之间的运动趋势和时间一致性仍然具有挑战性。未来的工作将探索多帧自回归网络和更具可扩展性的架构，以解决这些问题。

运行效率：与许多生成模型一样，World Dreamer需要较长的运行时间。研究更快的采样方法和模型量化可能会缓解这些问题。

扩展代理测试：我们计划将更多种类的驾驶代理集成到DRIVEARENA中，以促进在闭环环境中知识驱动型驾驶代理的持续学习和进化。

真实竞技场：DRIVEARENA不仅可以评估不同驾驶代理的性能，还可以作为自动驾驶生成模型的试验场。通过使用相同的驾驶代理作为裁判，它可以公平地评估不同生成模型的模拟到真实差距。与传统指标如FID和FVD相比，这种方法甚至提供了更加可信和令人信服的评估。

我们认识到，实际应用可能还需要一段时间，但这项工作所展示的潜力和前景是显而易见的。我们希望这项研究能够推动在高度逼真环境中的闭环探索，并为在各种挑战性场景下开发和评估驾驶代理提供一个有价值的平台。我们鼓励业界合作，共同推动这一领域的发展。开放循环的时代正在转变，自动驾驶的评估和学习即将进入一个闭环系统的新时代。