协同感知数据集最新综述！从车路协同到多模态融合~-CSDN博客

点击下方卡片，关注“自动驾驶之心”公众号

今天自动驾驶之心为大家分享中国矿业大学（北京）、清华大学最新的工作！自动驾驶协同感知数据集，突破V2X通信与多模态融合瓶颈！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『协同感知』技术交流群

论文作者 | Naibang Wang等

编辑 | 自动驾驶之心

标题：Collaborative Perception Datasets for Autonomous Driving: A Review
作者：Naibang Wang, Deyong Shang, Yan Gong, Xiaoxi Hu, Ziying Song, Lei Yang, Yuhan Huang, Xiaoyu Wang, Jianli Lu
作者单位：中国矿业大学（北京）、清华大学、哈尔滨工业大学、南洋理工大学、北京交通大学等
原文链接：https://arxiv.org/abs/2504.12696
开源链接：https://github.com/frankwnb/Collaborative-Perception-Datasets-for-Autonomous-Driving

论文简介

《Collaborative Perception Datasets for Autonomous Driving: A Review》论文回顾并分析了自动驾驶中的协同感知数据集。随着自动驾驶对环境感知精度和安全性要求的不断提升，协同感知已成为增强自动驾驶系统感知能力的关键技术，且成为学术界和工业界的研究重点。自动驾驶系统通过车载传感器执行实时任务，如物体检测、语义分割、追踪和轨迹预测。然而，传统单车感知受限于视野、传感器盲区和环境遮挡，难以满足复杂交通环境中的高可靠性要求。协同感知通过V2X通信技术，促进车辆与基础设施之间的信息共享，从而提高对遮挡区域和远程区域的感知能力，提升驾驶安全性并扩展操作设计域（ODD）。本论文总结了现有的协同感知数据集，涵盖了不同的协作范式、传感器配置、数据源和应用场景，为研究人员提供了系统的参考，旨在推动协同感知技术的进一步研究与发展。

图1：协同感知数据集发展时间路线图

主要贡献

本论文的主要贡献如下：

协同感知数据集的全面回顾：首次系统地总结并分类现有的协同感知数据集，涵盖V2V、V2I、V2X、I2I等不同协作范式，提供了全面的任务支持与应用场景分析。
任务导向的数据集分类：根据自动驾驶中的核心感知任务，如三维物体检测、语义分割和物体追踪与预测，对数据集进行了分类，有助于研究人员根据具体需求选择合适的数据集。
数据集对比与未来趋势：通过多维度的对比分析，突出高影响力的数据集，并探讨了协同感知数据集面临的主要挑战及未来发展方向，特别是在数据规模、领域适应性和标准化方面。

图2：文章架构图

GitHub资源库介绍

为了促进协同感知技术的进一步发展，本论文提供了一个持续更新的GitHub资源库，汇集了最新的协同感知数据集及相关文献。研究人员可以通过该资源库方便地访问并下载各种数据集，支持自己的研究工作。资源库链接：Collaborative Perception Datasets for Autonomous Driving

https://github.com/frankwnb/Collaborative-Perception-Datasets-for-Autonomous-Driving

图3：Github资源库

未来挑战与趋势

尽管现有的协同感知数据集在推动自动驾驶研究方面取得了显著进展，但依然面临诸多挑战：

数据集的规模与多样性：未来的数据集需要涵盖更多的交通异常、极端天气等稀有场景，并增加来自不同地区的数据，确保模型的广泛适应性。
标准化与基准化：为确保数据集间的公平比较与跨数据集的泛化能力，数据集的注释格式与评估协议的统一至关重要。
隐私与安全性：随着多方数据共享，如何保护数据隐私和安全，避免恶意攻击，成为未来研究的重点。
大语言模型的应用：未来，协同感知领域可能会与大语言模型（LLMs）结合，通过自动标注、数据增强等方式提升数据集的质量与智能化水平。

通过这篇综述，我们希望为协同感知数据集的设计、建设和评估提供有价值的指导，推动自动驾驶技术的进一步发展，提升自动驾驶系统的安全性和可靠性。

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com