首个用于自动驾驶的基于模型的RL方法

题目：Think2Drive: Efficient Reinforcement Learning by Thinking in Latent World Model for Quasi-Realistic Autonomous Driving (in CARLA-v2)

作者单位：上海交通大学

现实世界中的自动驾驶（AD），尤其是城市驾驶，涉及许多corner case。最近发布的AD仿真器CARLA v2在驾驶场景中增加了39个常见事件，并提供了比CARLA v1更接近真实的测试平台。这给社区带来了新的挑战，到目前为止，还没有文献报告CARLA v2中的新场景取得了任何成功，因为现有的工作大多都必须依赖于特定规则进行规划，但它们无法涵盖CARLA v2中更复杂的情况。这项工作主动直接训练一个规划器，希望能够灵活有效地处理corner case，认为这也是AD的未来方向。据我们所知，我们开发了第一个基于模型的强化学习方法，名为Think2Drive，用于AD，具有一个世界模型来学习环境的转变，然后它充当神经仿真器来训练规划器。这种范式极大地提高了训练效率，因为世界模型中的低维状态空间和张量的并行计算。

结果，Think2Drive能够在单个A6000 GPU上进行3天的训练后，在CARLA v2中以专家级的熟练程度运行，据我们所知，迄今为止尚未报告有关CARLA v2的成功（100%的路线完成）。还提出了CornerCase-Repository，这是一个支持通过场景评估驾驶模型的基准。此外，提出了一个新的平衡指标来评估性能，包括路线完成、违规次数和场景密度，以便驾驶分数可以提供更多关于实际驾驶表现的信息。   

实验结果

Think2Drive_自动驾驶

Think2Drive_仿真器_02