强强联手！清华&UCLA&NTU推出V2X-Radar数据集：重新定义车路协同感知边界~

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享NTU吕辰老师联合UCLA马加奇老师的最新的工作！打造V2X-Radar数据集，4D雷达让自动驾驶无惧雨雪黑夜！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『多传感器融合』技术交流群

论文作者 | Lei Yang等

编辑 | 自动驾驶之心

论文标题：V2X-Radar: A Multi-modal Dataset with 4D Radar for Cooperative Perception
论文地址：https://arxiv.org/pdf/2411.10962
代码仓库：https://github.com/yanglei18/V2X-Radar
数据集主页：http://openmpd.com/column/V2X-Radar

动机与背景

感知是自动驾驶系统的核心环节。尽管已有大量单车感知方法，但遮挡现象和感知范围限制仍导致严重安全隐患。这类问题的本质在于，单车仅能通过单一视角感知环境，无法获取全局信息，从而影响导航决策的可靠性。

近年来，协同感知通过车-路多视角信息共享，成为突破单车感知局限的重要方向。已有研究证明，该技术可有效扩展感知边界并消除遮挡盲区。然而，当前主流协同感知数据集（如OpenV2V、V2X-Sim、DAIR-V2X）存在显著缺陷：仅依赖Camera和LiDAR传感器，忽视了4D Radar的独特价值。4D Radar能够在雨雪雾等恶劣天气中展现出卓越的鲁棒性，这已在K-Radar、Dual-Radar等单车数据集得到验证。但在协同感知领域，4D Radar相关数据集的缺失严重阻碍了相关研究。为此，我们提出了首个融合4D Radar传感器，面向真实场景的大规模协同感知数据集V2X-Radar。其核心贡献包括：

(1) 我们提出了V2X-Radar，首个包含LiDAR/Camera/4D Radar传感器，且面向真实场景的多模态协同感知数据集。数据采集覆盖了不同天气（晴天 / 雨天 / 雾天 / 雪天）和时段（白天 / 黄昏 / 夜间），重点关注对单车自动驾驶极具挑战的复杂路口场景。这些场景包含影响车辆安全的遮挡盲区，为协同感知研究提供了丰富的极端案例。
(2) 数据集总计包含20K帧LiDAR点云、40K帧图像和20K帧4D Radar点云数据，并对包括轿车、卡车、公交车、骑行者和行人在内的5个交通参与者类别进行三维目标框标注，总计标注框高达350K。
(3) 我们分别在V2X-Radar-C协同感知、V2X-Radar-I路侧感知和V2X-Radar-V单车感知三个子数据集上，针对现有算法开展了实验验证，并构建算法基准，以促进该领域的后续研究。

V2X-Radar数据集介绍

1. 数据采集系统

数据采集系统由车端平台（图 2 (a)）和路侧单元（图 2 (b)）两部分组成。两者均配备了包括 4D Radar、LiDAR和多视角Camera在内的传感器。采用GPS/IMU惯导系统实现高精度定位，辅助车端平台与路侧单元之间的初始点云配准。同时集成了C-V2X 通信单元以实现无线数据传输。传感器布局配置详见图2，详细规格列于表2。

2. 传感器标定与点云配准

通过传感器标定实现单一车端平台或路侧单元上Camera、LiDAR和 4D Radar传感器间的空间同步。Camera内参标定采用张正友标定法。LiDAR与Camera间的外参标定，以棋盘格为参照，选取100组由LiDAR三维空间点与Camera图像像素对应点构成的点集，通过最小化2D-3D点对应重投影误差求解获得。LiDAR与4D Radar传感器间的外参标定，以金属制角反射器为参照，选取若干组由LiDAR三维空间点与4D Radar 三维空间对应点构成的点集。通过最小化对应点的均方差距离求解获得。传感器标定效果图如图3所示。

对于车端平台与路侧单元之间的LiDAR点云配准，首先基于RTK高精定位实现点云配准初始化，随后通过CBM自动配准算法并结合手动调整优化实现最终配准。点云配准效果可视化如图4所示。

3. 数据采集

我们收集了15小时的协同数据，总计包含540K个帧，涵盖了各种天气状况，如晴天、雨天、雾天和雪天，采集时间跨越白天、黄昏和夜晚（如图8所示）还包括具有挑战性的典型路口场景。从这些数据中手动挑选出最具代表性的40个序列，组成了V2X-Radar-C协同感知子数据集；每个序列时长在10到25秒之间。采集频率为10Hz。在此基础上，额外增加了10个单独车端视角数据序列来创建V2X-Radar-V车端感知子数据集，并额外增加了10个单独路侧视角数据序列来形成V2X -Radar-I路侧感知子数据集。与V2X-Radar-C协同感知数据级相比，V2X-Radar-V和V2X-Radar-I都涵盖了更多种类的场景。 经统计，V2X-Radar数据集总计包含20K帧LiDAR点云数据、40K帧Camera图像数据和20K帧4D Radar点云数据。

4. 数据统计

V2X-Radar数据集统计情况如图5所示，其中，图5(a)展示了数据集中白天与夜间场景下五种类别的物体分布情况；图5(b)显示了每个类别3D边界框内激光雷达点云的最大和平均数量；图5(c)展示了不同物体边界框内4D Radar点云密度分布情况。最后，图5（d）显示每帧协同感知数据中的标注框数量可达90个，与KITTI或 nuScenes等车端数据集相比有显著增加，这表明通过车路协同感知可有效提升单车感知对周围场景的感知能力。

任务定义与基准实验

V2X-Radar数据集可分别服务于单端感知任务和车路协同感知任务。

（1） 单端3D目标检测任务
单端3D目标检测任务是指单独基于路侧单元或车辆平台上的传感器数据进行 3D目标检测。具体涉及两个不同的任务：基于V2X-Radar-I子数据集进行路侧3D 目标检测，以及基于V2X-Radar-V子数据集进行车端3D目标检测。

单端3D目标检测任务的主要技术难点包括 (i)单模态编码：将Camera图像、LiDAR密集点云以及4DRadar带有多普勒信息的稀疏点云编码为3D空间表示，这对精确的单模态3D目标检测至关重要。(ii)多模态融合：在融合来自不同传感器的多模态信息时，需虑空间对齐、时间对齐和传感器故障等问题。解决这些问题对于实现可靠的多模态 3D 目标检测至关重要。

指标评测采取与KITTI数据集相同的评测方法，分别对基于LiDAR点云数据的方法，如PointPillars、SECOND、CenterPoint 和 PV-RCNN；基于Camera图像数据的方法，如SMOKE、BVDepth、BEVHeight 和 BEVHeight++；以及基于4D Radar稀疏点云数据的方法，如 RDIoU 和 RPFA-Net开展了基准测试，详细指标情况见表3和表4。

（2） 车路协同3D目标检测任务
车路协同3D目标检测任务是指同时利用车端平台和路侧单元上的传感器，实现以自车为中心的3D目标检测，旨在解决单车对的遮挡和远距离区域的感知能力不足问题。

车路协同3D目标检测任务的主要技术难点包括 (i) 空间不同步：定位误差会导致车端平台与路侧单元间的相对位姿关系存在偏差，因而将路侧单元坐标系中的数据转换至车端平台坐标系中时，会出现针对同一目标来自于不同平台传感器的点云数据全局偏移问题。(ii)时间不同步：数据传输过程中的通信延迟，会造成单车平台与智能路边单元的传感器数据时间戳不一致。将数据统一到统一坐标系中时，会出现针对统一动态目标的局部不对齐问题。

指标评测采取与V2V4Real、V2X-REAL数据集相同的评测方法，在两种基本配置下进行：(i)同步配置，忽略通信延迟；(ii)异步配置，通过获取带有前一时间戳的路边样本，模拟数据传输延迟。使用在交并比（IoU）阈值为0.5和0.7时的平均精度（AP）评估目标检测性能，通过平均兆字节（AM）计算传输成本。分别针对前融合、特征融合和后融合方法开展性能评测，重点关注特征融合相关方法，分别对F-Cooper、V2X-ViT、CoAlign和HEAL开展基准测试。详细指标情况见表5。

结论与展望

本文提出了首个大规模的、基于真实场景的、且包含4D Radar传感器的多模态协同感知数据集，将之命名为V2X-Radar。旨在推动4D Radar传感器在车路协同感知领域应用。该数据集涵盖了不同时间、天气条件下的复杂路口场景，包含20K 帧LiDAR点云数据、40K帧Camera图像数据和20K帧4D Radar点云数据，针对交通参与者目标对象的三维标注框规模高达350K。为支持多种感知任务研究，数据集被细分为用于协同感知的V2X-Radar-C子数据集、用于路侧感知的V2X-Radar-I子数据集和用于单车感知的V2X-Radar-V子数据集，并对相关感知算法进行了基准测试。目前该数据集主要聚焦于3D目标检测，且在异步协同感知方面采用了固定时延模拟。未来计划扩展任务类型，增加目标跟踪和轨迹预测功能，并在真实的CV2X通信时延下评估性能 。

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com