已开源｜清华大学发布：首个融合4D雷达的多模态协同感知数据集，35万标注框！

深蓝学院

于 2025-03-25 19:09:01 发布

阅读量954

点赞数 16

文章标签： 3D目标检测

本文链接：https://blog.csdn.net/soaring_casia/article/details/146510279

版权

导读
V2X-Radar 是一个创新的多模态数据集，它首次将4D雷达技术融入到车辆对一切（V2X）的合作感知研究中。V2X-Radar 数据集由清华大学车辆与出行学院联合其他机构共同收集，包含了丰富的真实世界驾驶场景，如不同的天气条件和光照时段，以及多种挑战性的交通路口情况。

3月15日，研究人员对论文进行了更新，增加了数据采集场景多样性展示、传感时间同步方案等内容。基于这些最新内容，我们对论文进行了详细解读。这些更新进一步验证了V2X-Radar数据集在4D Radar多模态融合和多样化场景方面的优势，助力突破车路协同感知边界。

©️【深蓝AI】编译

本文由paper一作——Lei Yang投稿发布！

论文标题：V2X-Radar: A Multi-modal Dataset with 4D Radar for Cooperative Perception

论文作者：Lei Yang，Xinyu Zhang，Jun Li，Chen Wang，Zhiying Song，Tong Zhao，Ziying Song，Li Wang，Mo Zhou，Yang Shen，Kai Wu，Chen Lv

论文地址：https://arxiv.org/pdf/2411.10962

代码仓库：https://github.com/yanglei18/V2X-Radar

数据集主页：http://openmpd.com/column/V2X-Radar

1.研究背景

环境感知是自动驾驶的关键技术之一，当前单车智能方案在视角盲区与探测距离约束下仍存在显著安全隐患。这类技术瓶颈本质源于：单一车载传感器的观测视角限制了全局环境信息获取，直接影响路径规划的可靠性。车路协同通过多视角数据融合，为突破单车智能安全边界提供了全新技术路线。

研究证实，该技术可有效扩大自动驾驶感知范围并消除视觉盲区。然而现有主流的协同感知数据集（如OpenV2V、V2X-Sim、DAIR-V2X）存在结构性缺陷：仅融合Camera与LiDAR数据，忽略了4D Radar在复杂气象条件下的不可替代优势。尽管 K-Radar、Dual-Radar 等单车数据集已验证该传感器在雨雾场景中的环境适应性，但在协同感知领域，多模态数据集中4D Radar传感器的缺失已成为技术发展的主要制约因素。

2.数据集亮点

多模态融合：车端平台与路侧单元均配备激光雷达（LiDAR）、4D 毫米波雷达（4D Radar）和多视角相机（Multi-view Cameras），LiDAR可输出稠密点云数据，精确还原物体的几何形状、位置和轮廓，支持厘米级测距。4D Radar输出相对稀疏的点云数据，由于毫米波信号（77GHz/79GHz）穿透能力强，因而对雨、雪、雾极端气象条件具备较强鲁棒性。Multi-view Cameras输出高分辨率图像，提供丰富的上下文语义信息。

多样化场景：数据采集涵盖多种气候条件（晴朗、降雨、雾霭、雪天）及不同时间段（白昼、黄昏、夜晚）的场景，特别聚焦于对单车自动驾驶构成严峻考验的复杂交叉路口场景。这些场景中存在的视线遮挡和盲区问题，为协同感知研究提供了宝贵的长尾场景数据。

多任务支持：数据集进一步细分为三个数据子集，其中V2X-Radar-C支持协同感知任务，V2X-Radar-I支持路侧感知任务，V2X-Radar-V支持车端感知任务。

综上，V2X-Radar数据集与现有协同感知数据集的优势对比情况如表1所示。

3.数据采集平台

数据采集系统由车端平台（图2(a)）与路侧单元（图2(b)）组成，均配备激光雷达（LiDAR）、4D 毫米波雷达（4D Radar）和多视角相机（Multi-view Cameras）。系统通过GPS/IMU实现厘米级定位，辅助车路初始点云配准，并集成C-V2X通信单元支持实时数据交互，具体参数见表2。

4.传感器时空同步

时间同步：为实现车端平台与路侧单元上的不同传感器在相同的时间基准，车端平台与路侧单元均接收来自GPS 卫星的GNSS 信号，并将其时钟设置为统一的GNSS 信号时钟，并基于时间同步盒对各传感器统一授时，实现原理如图7所示。

空间同步：包括单一平台上多模态传感器之间的静态外参标定（标定效果如图3），车端平台与路侧单元之间的动态空间同步（同步效果如图4）。

5.数据集采集与标注

数据采集：基于15小时的多源协同采集数据（总计540,000帧），构建了覆盖多种天气（晴/雨/雾/雪）及全时段光照条件（白昼/黄昏/夜间）的基准数据集（见图9），该数据集特别包含了具有挑战性的典型路口场景（见图8）。

数据标注：通过人工筛选，从中提取出40个典型协同感知序列构成V2X-Radar-C子数据集，并进一步扩展形成两个子数据集；通过补充10个单一车端视角序列构建V2X-Radar-V车端感知数据子集，以及新增10个单一路侧视角序列组成V2X-Radar-I路侧感知数据子集。标注数据总计包含20,000帧LiDAR点云、40,000帧高清图像以及20,000帧4D Radar点云数据。数据集对五类交通参与者——轿车、卡车、公交车、骑行者及行人——进行了精确的三维边界框标注，累计标注数量达到350,000个。

6.任务定义

■ 6.1. 单端3D目标检测任务

指利用单一平台（路侧单元或车载设备）的传感器数据完成3D物体识别。

单端3D目标检测面临两大核心挑战：

单模态编码：需分别实现相机图像的三维几何映射、LiDAR点云的高效特征提取、4D雷达（含速度信息）的稀疏数据表征，确保各模态独立感知精度。
多模态融合：需解决跨模态时空对齐（坐标系/时序同步）、动态场景下的数据错位补偿，以及传感器异常时的鲁棒性保障，实现稳定融合检测。

该任务包含两种典型视角场景：

路侧视角检测：基于V2X-Radar-I数据集，通过部署在道路基础设施的雷达等传感器实现环境目标检测；
车载视角检测：基于V2X-Radar-V数据集，利用车辆自身搭载的传感器完成周围物体的三维感知。

在V2X-Radar-I / V2X-Radar-V单端感知子数据集上，基于不同的模态数据，现有相关感知方法的性能表现情况如表3 / 表4所示。基于表中数据分析可知：基于LiDAR的方法取得了最高性能；尽管基于 4D Radar的方法处理的是相对稀疏的点云数据，但仍优于基于Camera的方法；基于Camera的方法受限于无法利用深度信息，其效果不如基于LiDAR和 4D Radar的方法。

■ 6.2. 车路协同3D目标检测任务

指融合车载与路侧传感器的数据，以自车为核心进行三维环境感知，从而突破单视角的遮挡限制并增强远距离检测能力。车路协同3D目标检测任务存在以下技术挑战：

空间异步挑战：车端平台实时定位误差导致其与路侧单元间的动态空间同步存在误差。当进行跨平台多源传感器数据空间对齐时，这种系统级坐标偏差会引发针对同一被观测物体，来自不同平台传感器的点云数据存在显著的空间错位现象，进而影响协同感知算法的性能表现。
时序异步挑战：在有限通信带宽限制下，车路平台之间的数据传输过程会引发网络延迟，造成实际参与融合的车端平台与路侧单元数据不处于同一时刻，即无法避免的时间异步。在动态场景下，这种时间异步会使得运动目标的点云轨迹在时空投影时产生鬼影效应，导致目标形态重构失真，进而影响协同感知算法的性能表现。

在V2X-Radar-C数据集上，基于不同的模态数据，现有相关感知方法的性能表现情况如表5所示。基于表中数据分析可知：

协同感知优于单车感知：在不同模块传感器数据作为输入条件下，协同感知模型相比单车感知基线性能显著提升，验证了车路协同感知对单车感知增强的有效性。
通信延迟对协同感知影响显著：固定异步时延条件下（100ms延迟），主流方法（F-Cooper、CoAlign、HEAL）在0.7 IoU阈值时性能下降13.30%~20.49%，凸显降低通信延迟对协同鲁棒性的关键作用。