nuPlan数据集介绍

nuPlan链接https://www.nuscenes.org/nuplan#challenge

简介

 nuPlan是世界上第一个大规模的planning benchmark，为的就是给大家提供一个长时的自车规划benchmark，提供了轻量的闭环仿真器、motion-planning评测还有可交互的可视化工具。nuPlan对于基于机器学习的、端到端的planning应该能提供很大帮助。

 数据集中提供了1200小时的人类驾驶数据，这些数据是在美国、亚洲等地采集，具有多种多样的交通场景。这个数据集还提供了标签，这些标签是由最新的离线模型标注的。在标注的3d框外还提供了10%的原始传感器数据。

此外nuPlan还提供了开源的仿真框架，支持闭环、开环仿真。闭环仿真意味着自车和其他车能够偏离原始运动的轨迹。

评测方式

数据采集

 数据集在4个城市采集（波士顿、匹茨堡、拉斯维加斯、新加坡），共计1200小时，其中838小时数据在拉斯维加斯采集的，剩下的数据均匀地在其他城市采集。

数据集中去除了大雨和夜晚数据。所有数据都是手动驾驶以获得模仿学习能够使用的GT数据。所有的驾驶员驾驶原则是安全、自信有把握、坚决的，同时他们目的地也是明确的（即有明确的上下车点），路线也是直接去目的地。

传感器：

5x激光雷达（20Hz）

        2x Pandar 20P（前后保险杠）

        2x Pandar 40P（左右A柱）

        1x Pandar 40PT（车顶）

8x 相机（10Hz）

        D3工业相机D3RCM

        Sony IMX390，2000x1200分辨率

1x Honeywell HG1120 IMU（100Hz）

1x Trimble BX992（20Hz）

所有传感器均已标定、同步。

数据标注

Maps

和nuScenes相似，提供了2d HDmap的人工标注，例如路、人行道、十字路口、车道、交通灯等。

Auto labeling

nuPlan使用离线系统依据语义地图自动标注了可行驶区域上的Vehicle、Bicycle、Pedestrian、Traffic cone、Barrier、Construction zone sign、generic object，还有一部分人行道上和自车驾驶相关的目标。

Traffic lights

nuPlan依据所有车的行驶情况，推断出交通灯状态。这样所有观测到车的车道都能推断出红绿灯而不是只有自车道了。

场景

因为大部分场景自车都是直行，所以nuPlan提供了一个框架来做数据挖掘，以挖掘更感兴趣的场景。

规划框架

nuPlan提供了一套开源的框架来开发基于机器学习的规划器。步骤如下：训练模型->仿真->评测->可视化结果

开发流程

Train

nuPlan提供了一个机遇pytorch的框架来训练planners，输入可以是自车的信息、其他agent信息、静态/动态地图信息等等，他提供的baseline很容易修改。

simulate

框架模块

 整个框架中核心部分是场景仿真，这个框架中的观测模型、自车规划器、他车模型、运动控制、评测模块、可视化模块都是可以修改替代，这为开发人员提供了很大的便利。

Measure

计算评价指标依据：违规、人工驾驶相似性、自车动态舒适性、目标达成、特殊场景评测。

Visualize

nuBoard仪表板，能够渲染出场景中地图、自车、他车、交通灯等。