自动驾驶安全面临巨大挑战,单车智能存在驾驶盲区、中远距离感知不稳定等问题,导致自动驾驶车辆可运行设计域(ODD)受限,单车智能自动驾驶落地受阻。车路协同将是保障自动驾驶安全运行的必由之路。而数据是车路协同自动驾驶的关键,为促进学术界和产业界共同打造数据驱动的车路协同自动驾驶,清华大学智能产业研究院(AIR)依托北京市高级别自动驾驶示范区,推出全球首个车路协同自动驾驶数据集DAIR-V2X,共同探索车路协同自动驾驶的落地模式。
特点
- 总计71254帧图像数据和71254帧点云数据
1. DAIR-V2X协同数据集(DAIR-V2X-C),包含38845帧图像数据和38845帧点云数据
2. DAIR-V2X路端数据集(DAIR-V2X-I),包含10084帧图像数据和10084帧点云数据
3. DAIR-V2X车端数据集(DAIR-V2X-V),包含22325帧图像数据和22325帧点云数据
- 首次实现车路协同时空同步标注
- 传感器类型丰富,包含车端相机、车端LiDAR、路端相机和路端LiDAR等类型传感器
- 障碍物目标3D标注属性全面,标注15类道路常见障碍物目标
- 采集自北京市高级别自动驾驶示范区10公里城市道路、10公里高速公路、以及28个路口
- 数据涵盖晴天/雨天/雾天、白天/夜晚、城市道路/高速公路等丰富场景
- 数据完备,包含脱敏后的原始图像和点云数据、标注数据、时间戳、标定文件等
解决问题
与仅包含单车端或路端的数据集相比,DAIR-V2X数据集首次克服了以往车路协同在同一时空检测但数据不同步的难题,提出车路协同多模态融合方法并给出检测指标,解决了车路协同产业以往缺乏真实道路场景数据的痛点
车端3D检测任务
路端3D检测任务
车路协同3D检测任务
车路协同3D检测是在通信带宽约束下,车端融合路端信息,实现3D目标检测的视觉感知任务。与传统自动驾驶3D检测任务相比,本任务需要解决车端与路端多视角、数据多模态、时空异步、通信受限等挑战,通过设计车路融合感知算法,实现盲区补充、提升感知精度
问题建模
输入:车端多模态数据、路端多模态数据,以及对应的时间戳和标定文件
优化目标:
① 提高检测性能:提升算法在测试集上的3D目标检测精度
② 减少路端数据使用量:保证相近精度的前提下,降低路端数据使用量,减少通信时延
③ 减少传感器使用量:保证相近精度的前提下,降低车端和路端传感器使用数量,以节省成本、降低能耗
评测指标
① 目标检测精度:针对车辆、行人等目标,计算3D边界框的尺寸、位置和置信度,基于 IoU 计算mean average precision (mAP) ,最终的精度是所有类别mAP的均值
② 路端数据使用量:以算法使用的路端信息比特数作为评测指标
Baseline后融合参考方案
分别利用车端相机+LiDAR及路端相机+LiDAR传感器信息,计算3D目标位置、置信度等结果,在虚拟世界坐标系中将计算结果进行后融合,车路协同感知后融合整体流程如下图
数据文件结构
文献
DAIR-V2X: A Large-Scale Dataset for Vehicle-Infrastructure Cooperative 3D Object Detection