DAIR-V2X数据集介绍

自动驾驶安全面临巨大挑战,单车智能存在驾驶盲区、中远距离感知不稳定等问题,导致自动驾驶车辆可运行设计域(ODD)受限,单车智能自动驾驶落地受阻。车路协同将是保障自动驾驶安全运行的必由之路。而数据是车路协同自动驾驶的关键,为促进学术界和产业界共同打造数据驱动的车路协同自动驾驶,清华大学智能产业研究院(AIR)依托北京市高级别自动驾驶示范区,推出全球首个车路协同自动驾驶数据集DAIR-V2X,共同探索车路协同自动驾驶的落地模式。

特点

  • 总计71254帧图像数据和71254帧点云数据

     1. DAIR-V2X协同数据集(DAIR-V2X-C),包含38845帧图像数据和38845帧点云数据
     2. DAIR-V2X路端数据集(DAIR-V2X-I),包含10084帧图像数据和10084帧点云数据
     3. DAIR-V2X车端数据集(DAIR-V2X-V),包含22325帧图像数据和22325帧点云数据

  • 首次实现车路协同时空同步标注
  • 传感器类型丰富,包含车端相机、车端LiDAR、路端相机和路端LiDAR等类型传感器
  • 障碍物目标3D标注属性全面,标注15类道路常见障碍物目标
  • 采集自北京市高级别自动驾驶示范区10公里城市道路、10公里高速公路、以及28个路口
  • 数据涵盖晴天/雨天/雾天、白天/夜晚、城市道路/高速公路等丰富场景
  • 数据完备,包含脱敏后的原始图像和点云数据、标注数据、时间戳、标定文件等

解决问题

与仅包含单车端或路端的数据集相比,DAIR-V2X数据集首次克服了以往车路协同在同一时空检测但数据不同步的难题,提出车路协同多模态融合方法并给出检测指标,解决了车路协同产业以往缺乏真实道路场景数据的痛点

车端3D检测任务

路端3D检测任务

车路协同3D检测任务

车路协同3D检测是在通信带宽约束下,车端融合路端信息,实现3D目标检测的视觉感知任务。与传统自动驾驶3D检测任务相比,本任务需要解决车端与路端多视角、数据多模态、时空异步、通信受限等挑战,通过设计车路融合感知算法,实现盲区补充、提升感知精度

问题建模

输入:车端多模态数据、路端多模态数据,以及对应的时间戳和标定文件
优化目标:
① 提高检测性能:提升算法在测试集上的3D目标检测精度
② 减少路端数据使用量:保证相近精度的前提下,降低路端数据使用量,减少通信时延
③ 减少传感器使用量:保证相近精度的前提下,降低车端和路端传感器使用数量,以节省成本、降低能耗

评测指标

① 目标检测精度:针对车辆、行人等目标,计算3D边界框的尺寸、位置和置信度,基于 IoU 计算mean average precision (mAP) ,最终的精度是所有类别mAP的均值
② 路端数据使用量:以算法使用的路端信息比特数作为评测指标

Baseline后融合参考方案

分别利用车端相机+LiDAR及路端相机+LiDAR传感器信息,计算3D目标位置、置信度等结果,在虚拟世界坐标系中将计算结果进行后融合,车路协同感知后融合整体流程如下图
在这里插入图片描述

数据文件结构

在这里插入图片描述

文献

DAIR-V2X: A Large-Scale Dataset for Vehicle-Infrastructure Cooperative 3D Object Detection

<think>好的,用户想将DAIR-V2X数据集转换为KITTI格式,我需要根据提供的引用内容给出步骤。首先,查看用户提供的引用[1],里面提到有一个GitHub仓库,可以通过git clone拉取代码,这可能包含转换工具。然后引用[2]提到需要处理点云数据,将bag文件转为pcd格式,可能需要先进行这一步转换,因为KITTI使用的是pcd或者其他支持的格式。 接下来,我需要整理步骤。首先克隆仓库,然后准备数据,可能需要处理点云数据转换。然后根据仓库的说明运行转换脚本。同时,用户可能需要调整目录结构,确保数据路径正确。最后验证生成的数据是否符合KITTI格式,比如检查标签文件是否对齐,图像和点云是否对应。 还要注意可能的依赖项,比如Python环境或MATLAB工具,以及安装必要的库。此外,用户可能在转换过程中遇到路径错误或格式不匹配的问题,需要提醒检查配置文件或参数设置。最后,生成相关问题,可能涉及其他数据集转换、处理点云数据的工具,或DAIR-V2X的应用场景。</think>以下是DAIR-V2X数据集转换为KITTI格式的详细步骤: ### 一、环境准备 1. 克隆官方仓库: ```bash git clone https://github.com/AIR-THU/DAIR-V2X.git cd DAIR-V2X/tools/dair2kitti ``` 2. 安装依赖: ```bash pip install -r requirements.txt ``` ### 二、数据预处理 1. **点云格式转换**:将原始bag文件转为pcd格式[^2] ```matlab % MATLAB示例代码 rosbag convert 'input.bag' 'output.pcd' ``` 2. 数据集目录结构调整: ``` DAIR-V2X ├── calib ├── image ├── label └── velodyne # 存放转换后的pcd文件 ``` ### 三、执行格式转换 ```bash python convert_dair2kitti.py \ --source-path /path/to/dair_dataset \ --target-path /path/to/kitti_format \ --split-type train ``` *参数说明:* - `source-path`: DAIR数据集根目录 - `target-path`: 输出KITTI格式目录 - `split-type`: 数据集划分类型(train/val/test) ### 四、验证结果 检查生成的KITTI格式目录结构: ``` kitti_format ├── training │ ├── calib │ ├── image_2 │ ├── label_2 │ └── velodyne └── ImageSets └── train.txt ``` 关键文件验证: - `calib/*.txt` 包含相机标定参数 - `label_2/*.txt` 使用KITTI标注格式: ``` # 示例标注行 Car 0.00 0 0.50 712.40 143.00 810.73 307.92 1.65 1.67 3.64 -4.14 2.38 25.27 ``` ### 常见问题处理 1. **点云对齐问题**:检查时间戳同步文件`timestamp.txt` 2. **坐标转换**:使用官方提供的`coordinate_convert.py`工具 3. **类别映射**:修改`class_mapping.json`定义类别对应关系
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值