自动驾驶开源数据体系：现状与未来

自动驾驶开源数据体系：现状与未来

附赠自动驾驶最全的学习资料和量产经验：链接

研究团队
李弘扬,李阳,王晖杰,曾嘉,徐慧琳,蔡品隆,陈立,林达华,乔宇：上海人工智能实验室
严骏驰：上海交通大学
徐丰：复旦大学
熊璐：同济大学
王井东：百度
朱福堂：比亚迪
许春景：华为
汪天才：旷视科技
夏飞、穆北鹏：美团
彭志辉：智元机器人
文章下载
李弘扬, 李阳, 王晖杰, 曾嘉, 徐慧琳, 蔡品隆, 陈立, 严骏驰, 徐丰, 熊璐, 王井东, 朱福堂, 许春景, 汪天才, 夏飞, 穆北鹏, 彭志辉, 林达华, 乔宇.自动驾驶开源数据体系：现状与未来. 中国科学: 信息科学, 2024, doi: 10.1360/SSI-2023-0313
https://doi.org/10.1360/SSI-2023-0313

研究意义

随着自动驾驶技术的不断成熟与应用，系统性梳理开源自动驾驶数据集有利于产业生态良性循环。现有自动驾驶数据集可大致分为两代，第一代数据集的传感模态复杂度相对较低、数据集规模相对较小，且大多局限于感知级任务，以发布于2012年的KITTI为代表。相比于第一代数据集，第二代数据集的特征为传感模态复杂度较高、数据集规模与多样性较丰富、所设置任务从感知扩展到预测、规控上，以2019年前后提出的nuScenes、Waymo为代表。

**来自上海人工智能实验室、上海交通大学等十几家机构的研究者合作，全面回顾了自动驾驶公开数据集的现状与挑战。**本文联合学术界、产业界同仁，首次系统性梳理了国内外七十余种开源自动驾驶数据集，对如何构建高质量数据集、数据在算法闭环体系中发挥的核心作用、如何利用生成式大模型规模化生产数据等进行了总结。此外，就未来第三代自动驾驶数据集应该具备的特质和数据规模，以及需要解决的科学与技术问题，进行了详细分析与讨论。具体而言，第2章总结现有自动驾驶数据集的情况与发展脉络；第3章介绍数据算法闭环体 系以及数据的作用；第4章提出新一代数据集建设要点。

图1 本文整体架构与内容分布

希望本文的归纳与展望能促进新一代自动驾驶数据集与生态体系的建设、推动关键领域自主原创与科技自强的发展。

本文工作

针对数据算法闭环体系，结合当前大模型发展趋势，提出了下一代自动驾驶数据集的愿景与规划。系统性地总结了自动驾驶发展历程中所使用的数据集，展示了通过挑战赛与榜单促进社区发展的重要性；概括性地分析了自动驾驶数据算法闭环体系，并总结其中各个重要环节的作用，带大家了解这个领域的机遇与挑战。

1 数据集梳理

在统计了 2012 年至今近百种数据集后，本文选取了其中影响力较高的14个数据集进行展示，其以数据集发布时间为横轴、数据集影响力估计值为纵轴，定性展示了主要公开数据集的情况。在此基础上，本文对现有数据集归纳总结，按照不同任务划分，自动驾驶数据集可以大致分类为感知类、建图类、预测与规划类、交叉领域等类型。

图2 自动驾驶数据集影响力估计随时间发展的脉络图，随着人工智能技术的快速迭代，自动驾驶数据集趋于大规模、多模态、多任务、端到端的发展势态

2 数据算法闭环体系

现阶段，如何高效地构建海量高质量的数据仍是一个开放性的问题。学术界与工业界对于构建自动驾驶数据集所采用的方案不尽相同，数据采集、质量把控、标注技术等方面都根据各自拥有的平台与技术有所变化。如表1、2所示，本文对比不同厂商构建数据闭环体系的方案。同时，本文还将对其中各个关键技术进行分析，为下一代自动驾驶数据集的构建夯实基础。

表1 商业化数据算法闭环解决方案对比，不同厂商对于特定功能的实现方式存在差别，但整体方案趋于相同

表2 自动驾驶标注工具对比，以点云与图像标注任务为例，搜集了国内外若干家数据公司的信息及其报价，并以nuScenes数据集为例计算出所需标注价格

本文选择了一个案例来阐释本章节中提及的方案。该案例的大致流程如图3所示。在这个案例中，研究人员的目标为开发一个基于语言的AIGC模型，用于根据文本内容生成与自动驾驶相关的图片。面临的一个挑战是，由于语言和自动驾驶的结合并不紧密，现有自动驾驶数据集基本上不含有语言相关标签。为了解决这个问题，研究人员利用公开网络数据、ChatGPT语言模型并结合人工标注，提高模型算法泛化性，如实现黑夜、雨天等场景生成。

图3 应用案例：大语言模型通过数据算法闭环体系，生成海量高质量数据

3 新数据集建设要点

(1) 面向多模态、保质保量

在新一代数据集中，更多的传感器类型数据，如鱼眼相机、双目相机、毫米波雷达、惯性测量单元等，都应该被包含在其中。单一类型的传感器也应具有多样性，如在相机中需要包含长焦、鱼眼、广角、窄角等镜头。在保证传感器种类丰富的同时，不同类型传感器数据之间的时间、空间、覆盖范围的对齐也是一个需要特别关注的问题。除了传感器的多样性，数据场景多样性也同样重要。

(2) 面向端到端、决策导向

赋能端到端模型是一个必备特点，同时也需要考虑如何将闭环评测、现实环境、仿真环境进行有机统一。对于端到端系统来说，较为简短的任务能够对自动驾驶技术中短期发展起到有效的带动作用。

(3) 面向智能化、逻辑推理

神经网络常作为人工智能的实现形式，但其黑箱的特性使得完全的正确性不能够得到保证，因此提高自动驾驶系统可解释性，提高车辆安全性至关重要。大语言模型具有出色的推理能力和知识理解能力，面对复杂场景可以模拟人的决策过程。结合了大语言模型的推理能力的新一代自动驾驶数据，可以预见未来自动驾驶系统的可解释性与安全性将会得到更大的提升。