V2X-Sim: A Virtual Collaborative Perception Dataset for Autonomous Driving

V2X表示车辆与其周围任何实体之间的协作以改善自动驾驶系统的感知性能。
V2X协同感知系统开发挑战：在现实世界中构建完善的协同驾驶数据集既昂贵又费力，且协同感知系统的开发缺乏开源的 V2X 数据集。

3 V2X-Sim 数据集

V2X-Sim使用 SUMO生成交通流，并使用CARLA来复取同一个交叉路口的车辆的传感器数据流，在红绿灯上安装传感器以捕获路口环境，并且与车辆的传感器流同步。

VX-Sim提供：1) 来自路边设施和车辆的传感器数据记录；2) 边界框、车辆轨迹、逐像素和逐点的语义标签。

3.1 车辆和路边传感器组

每辆车配备了基于 CARLA 的传感器组，由RGB摄像头、深度摄像头、语义分割摄像头、BEV语义分割摄像头、激光雷达和语义激光雷达组成。
路边设施配备了 RGB 摄像头、BEV 语义分割摄像头、激光雷达和语义激光雷达。
摄像头和 LiDAR 水平覆盖 360° 以实现全视图感知。

传感器布局和坐标系：在车辆和路边设施上，LiDAR 和语义 LiDAR，RGB/depth/语义摄像头放置在同一位置以获得深度/语义ground truth。 BEV 语义分割摄像头与 LiDAR 具有相同的 x、y坐标系，但BEV 语义分割摄像头放置得更高以确保一定大小的视场。对于路边设施，传感器被放置在现实范围内的随机高度，以增加多样性。

1. RGB摄像头：每辆车配备6个RGB摄像头，每个摄像头的视角FoV 为 70°，但后置摄像头的 FoV 为 110°。每个十字路口配备 4 个RGB摄像头，朝向十字路口的四个方向，以 35° 的角度斜向下看，具有 70° 的 FoV。图像尺寸为 1600×900
2. 深度摄像头：每辆车有 6 个深度摄像头，设置与 RGB 摄像头相同。
3. 语义分割摄像头：每辆车有 6 个语义分割摄像头，设置与 RGB 相机相同。
4. BEV语义分割摄像头：每辆车和每个路口中心顶部都有一个 BEV 语义摄像头，向下看。提供了原始图像（在红色通道中编码的语义标签）和转换后的彩色图像。图像尺寸为 900×900。
5. 激光雷达和语义激光雷达：将一台 LiDAR 和一台语义 LiDAR 安装在自主车辆和交叉路口中心的顶部。规格：32 通道，最大范围 70m，每秒 250,000 点，20 Hz 旋转频率。

ground truth标注：提供了各种标签，例如 3D 边界框、逐像素和逐点语义标签。每个框由其中心在 x、y、z 坐标中的位置及其宽度、长度和高度定义，共有行人、建筑物、地面等二十三类，还提供了精确的深度值用于深度估计。

multi-agent multi-modality perception的示例：

从上到下：RGB图像、深度、语义分割、BEV语义分割。从左到右分别是四个的记录，除了最后一行在最后一列附加了路边的图像。

3.2 CARLA-SUMO co-simulation

V2X 场景：多辆拥有自己路线的车辆同时位于同一地理区域（十字路口），且路边设施也具有传感能力。

V2X-Sim使用 CARLA-SUMO 联合仿真进行交通流模拟和数据记录。通过 SUMO 模拟器在 CARLA 中生成车辆，并由 Traffic Manager管理。 CARLA 提供的脚本 spawn_npc_sumo.py 自动生成某个城镇的 SUMO 网络，并产生随机路线让车辆四处漫游。

数百辆车在不同的城镇生成。首先，记录了每个长度为 5 分钟的几个日志文件。然后我们从不同路口的日志文件中读出了 100 个场景，每个场景包含 20 秒的持续时间。选择场景中的 M(M = 2, 3, 4, 5) 辆汽车作为智能主体 （intelligent agents），相互共享信息。

4 总结

1）V2X-Sim是首个基于 CARLA 模拟器的自动驾驶场景中的虚拟协同感知数据集。
2）V2X-Sim可用于各种感知任务，同时支持独立感知任务和协同感知，还为协同感知算法提供了benchmarks。