最新综述 | 自动驾驶决策都有哪些数据集？一文尽览

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文只做学术分享，如有侵权，联系删文

论文作者 |  Yuning Wang

自动驾驶之心特约解读 | Garfield

编辑 | 自动驾驶之心

1. 论文信息

2. 引言

首先来说，数据集相关的综述是非常特别的，和其它介绍深度学习相关的方法有关的综述不同，本文主要聚焦于自动驾驶相关的数据集上。那么与机器学习相关的数据集综述又有什么作用呢？笔者认为：机器学习的发展离不开数据集的支撑，因为数据是机器学习的基础。在某个特定领域，有关该领域的数据集对于机器学习的研究和应用具有重要的意义和价值。以下是关于机器学习特定领域数据集的综述：

1. 促进机器学习算法的发展和改进。数据集提供了大量的数据样本，可以用于训练和测试机器学习算法，从而促进算法的发展和改进。

2. 推动机器学习在特定领域的应用。特定领域的数据集可以用于开发和优化机器学习模型，从而推动机器学习在该领域的应用。

3. 促进相关领域的研究。特定领域的数据集可以为相关领域的研究提供数据支持，从而推动相关领域的研究发展。

4. 促进数据共享和开放科学。特定领域的数据集可以为其他研究人员提供数据资源，从而促进数据共享和开放科学。

而设计有关数据集的综述又要包括以下内容：

1. 数据集的来源和背景。介绍该数据集的来源和背景，包括数据采集的方式、数据样本的来源和特点等。

2. 数据集的特点和结构。介绍该数据集的特点和结构，包括数据集的规模、数据类型、数据格式、数据分布等。

3. 数据集的应用和研究。介绍该数据集在机器学习研究和应用中的应用和研究，包括常用的机器学习算法、数据预处理方法、数据挖掘技术等。

4. 数据集的质量和局限性。介绍该数据集的质量和局限性，包括数据采集的误差、数据缺失的情况、数据样本的偏差等。

5. 数据集的未来发展方向。介绍该数据集未来的发展方向，包括数据集的扩展、数据集的优化、数据集的更新等。

自动驾驶技术被寄予了人们出行方式和未来交通系统革命的伟大期望。自动驾驶技术的架构可以大致分为三个主要模块：环境感知、决策制定和运动控制。其中，决策制定模块具有重要意义，起到了驾驶员大脑的作用。

随着自动驾驶技术的快速发展，决策制定的研究也在增加。决策制定通常被分解为分层模块，包括全局路径规划、行为选择和轨迹生成。它们的边界在深度学习和端到端方法出现后变得模糊。本文使用了一个相对广义的决策制定定义，其中不仅包括运动规划，还包括环境和驾驶员的理解。

决策制定技术可以由基于物理/优化的规则驱动，也可以由从数据中学习的机器智能驱动。对于低级别的自动驾驶，基于规则的方法更广泛地用于在简单情境下实现自动驾驶能力。然而，对于高级别的自动驾驶技术，基于规则的方法通常被认为在复杂交通情况下缺乏普适性。为此，数据驱动的方法，包括机器学习、深度学习和强化学习，引起了研究人员的兴趣。这些方法在一些复杂情境下表现出色，但它们的性能实际上受到用于训练和测试算法的数据集的限制。为了保证这些方法的无偏性和泛化性，适当且丰富的数据至关重要，数据驱动的决策制定占主导地位。

最近出现了许多大规模的决策制定数据集，其特点和应用各不相同。从数据量的角度来看，过去15年里，它的数量级增长了几个数量级，从一小时增长到1000多小时，场景也更加丰富。这些数据集的类型和特征与决策制定相关。有些关注车辆状态，有些关注环境理解，而有些则关注司机行为分析。最近的数据集更注重挑战性场景而不是常规场景。另一个明显的趋势是，最近出现的数据集的数据量要大得多，数据类型和来源也更加多样化。因此，对这些最新数据集的调查符合需求的增长。

与以前的自动驾驶数据集调查相比，本文的主要贡献如下：

1. 本文详细总结了自动驾驶数据集的决策制定部分，尤其是包括其他先前论文未涉及的许多最新数据集，这有利于该领域的研究人员获得有关相关数据集的更专注的视图。

2. 这些数据集根据数据来源进行分类，即驾驶员、车辆和环境。这种分类为不同数据集的分类和比较提供了标准。此外，本分类中分类的各种数据类型和来源方便研究人员选择适应其传感器和研究需求的数据集。

3. 本文总结了决策制定数据集的应用目的。这些信息有助于研究人员选择适合不同研究的适当数据集。

2. Vehicle Datasets

Vehicle Datasets是指那些与车辆相关的数据集，主要用于自动驾驶中的决策制定模块。这些数据集可以包括车辆传感器收集的数据，如雷达、激光雷达、摄像头和GPS等数据，也可以包括车辆控制器输出的数据，如加速度、制动器状态和转向状态等数据。Vehicle Datasets可以帮助研究人员训练和测试自动驾驶系统中的决策制定算法。

Vehicle Datasets通常包括以下数据类型：

• 状态数据：这类数据反映车辆的位置、速度和其他外部状态信息，如来自GNSS、RTK、IMU和轮速传感器的距离、速度、偏航角速率和加速度等。

• 操作数据：这类数据包含驾驶员的操纵信息，包括转向角度、转向速率、油门踏板位置和制动踏板位置数据。

• 内部数据：这类数据记录车辆的内部状态，如发动机转速、制动阀液压、变速器齿轮位置和CAN总线上的其他有价值的数据。

然后介绍了一些Vehicle Datasets，这些数据集包含了与车辆相关的不同类型的数据。一些数据集仅包含状态数据，如EU Long-term、KAIST和BDDV，这些数据集主要用于设计感知和定位算法。另一些数据集包含操作数据，如Udacity和A2D2，这些数据集主要用于训练端到端的自动驾驶算法。还有一些数据集包含车辆的内部数据，如DDD17和DDD20，这些数据可以用于研究人员进行行为决策学习和操纵预测。不同类型的Vehicle Datasets都存在一些不足之处，下面是具体介绍：

1. 仅包含状态数据的数据集（如EU Long-term、KAIST和BDDV）通常缺乏驾驶员操作信息，这些信息对于训练自动驾驶算法非常重要。此外，这些数据集可能没有足够的多样性，无法涵盖各种驾驶场景。

2. 操作数据数据集（如Udacity和A2D2）通常缺乏车辆的内部状态数据，如发动机转速等。这些数据集也可能缺乏足够的多样性，无法涵盖各种驾驶场景。

3. 包含内部数据的数据集（如DDD17和DDD20）通常需要高成本的传感器和设备来收集，因此可能不太易于获取。此外，这些数据集可能缺乏足够的多样性，无法涵盖各种驾驶场景。

4. 一些数据集中的驾驶行为分布不平衡，这可能影响模型的准确性和泛化能力。

5. 一些数据集缺乏完整的传感器数据，例如缺乏LiDAR、雷达等传感器数据，这可能会影响自动驾驶系统的感知和决策能力。

6. 缺少司机的数据，许多包含车辆操作和内部状态数据的数据集主要用于端到端学习研究，如基于相机或LiDAR数据预测转向角度。然而，这些算法存在解释性的不可忽视的缺点。近年来，越来越多的研究人员开始关注驾驶员行为学习，这些行为（如超车、车跟驾驶和变道）是从人类驾驶数据中学习的。这些行为对于人类驾驶员来说很容易理解，甚至可以被视为学习车辆运动或操作的先验知识。

7. 一些数据缺少标准，缺乏数据类型标准也限制了不同决策数据集之间的比较。因此，为数据集建立数据类型标准是一个全面的研究，对于整个自动驾驶研究社区都是值得关注的。

而不同类型的Vehicle Datasets都有其不足之处，研究人员需要根据其研究需求来选择合适的数据集。同时，研究人员也需要意识到数据集的局限性，并努力解决这些问题，以便更好地推动自动驾驶领域的发展。

3. DRIVING ENVIRONMENT DATASETS

Vehicle Datasets是Driving Environment Datasets中的一个子集，它们专注于收集和记录车辆相关的数据。Vehicle Datasets通常包含来自车辆传感器（如相机、激光雷达、毫米波雷达等）的数据，以及车辆内部的CAN总线数据、GPS信息等。

下面来介绍驾驶环境有关的数据集。Driving Environment Datasets是指收集和记录了不同驾驶环境中的数据集合。这些数据集可以包含来自多种传感器（如相机、激光雷达、毫米波雷达等）的数据，以及车辆内部的CAN总线数据、GPS信息等。Driving Environment Datasets的目的是为了支持自动驾驶系统的研究和开发，以及其他与驾驶场景相关的研究，如驾驶行为学习、交通流仿真等。Driving Environment Datasets通常包含各种不同的驾驶场景，例如高速公路、城市街道、乡村道路等。这些数据集可以用于训练和测试自动驾驶系统的各种算法，如感知、决策和控制算法。同时，这些数据集也可以用于驾驶场景仿真和交通流仿真等其他研究领域。

在学术或工程目的中使用数据集时，数据类型和注释标签是用户最关心的两个特征，特别是对于与驾驶环境相关的任务，因为真实的驾驶场景是如此复杂和多样化。只有在数据集中包含输入和输出接口，模型才能进行训练。下表展示了使用传感器的概述和注释标签，也展示了现有数据集的特点。下文是这一类数据集的介绍：

而本文主要强调了以下几个点：

1. 多个摄像头和多线激光雷达是最常见的传感器组合，用于重现行驶环境；

2. 某些数据集主要用于模式分析任务，可仅使用多个摄像头而无需激光雷达；

3. 除了原始数据，注释标签也是模型训练和开发的重要因素；

4. 环境相关数据集的注释标签包括第一人称视角的边界框、鸟瞰物理状态、高清地图和行为标签；

5. 不同的传感器组合决定了数据集的各种特征和意图；

行为标签在最近几年成为研究重点，因为越来越多的深度学习决策模型需要它们作为基础。这些标签可以帮助深度学习模型理解和预测交通参与者的行为，从而做出更准确的决策。因此，研究人员越来越关注如何获取和使用行为标签，并将其作为深度学习模型训练和开发的重要因素之一。

而不同于其它数据集可以直接对数据集进行搜集，环境相关的数据集标注有一定的自身特点。 大多数注释方法仍然依赖于人工标注，但也有一些自动标注模型被开发出来来加速这一过程；在ROAD数据集中，提出了一种3D-RetinaNet架构用于在线数据处理；一些最新的深度学习方法，如teacher-student模型，可以在少量手动标记的数据帧基础上进行大规模处理；而一种新的标注数据的方法是合成现实技术，该方法能够有效地生成数字孪生场景，以便开发人员可以在交通事件的每个位置和时间提取所需的目标数据。为了实现从现实到数字的映射，使用了一种名为SurfelGAN的深度学习网络来重建现实世界中缺失的状态。

4. Driver Datasets

在自动驾驶技术中，相较于DRIVING ENVIRONMENT DATASETS和Vehicle Datasets，Driver Datasets有几个特别之处：

1. 数据源的获取和隐私问题：相较于DRIVING ENVIRONMENT DATASETS和Vehicle Datasets，Driver Datasets的数据源更加敏感和难以获取。因为驾驶员的个人信息和隐私问题，采集和使用Driver Datasets需要更加谨慎和合规，例如需要遵守相关的隐私保护法规。

2. 驾驶员行为的复杂性和多变性：相较于DRIVING ENVIRONMENT DATASETS和Vehicle Datasets，Driver Datasets需要考虑更加复杂和多变的驾驶员行为因素。驾驶员的行为往往受到多种因素的影响，例如道路条件、交通情况、天气等等，因此构建Driver Datasets需要考虑更多的因素和场景。

3. 驾驶员模型的开发和验证：相较于DRIVING ENVIRONMENT DATASETS和Vehicle Datasets，Driver Datasets需要更多的驾驶员模型开发和验证工作。驾驶员模型是指模拟和预测驾驶员行为的模型，需要在Driver Datasets上进行训练和测试。同时，需要开发有效的评估指标和方法来评估驾驶员模型的性能和效果。

通常有两种常用的眼动追踪设备来收集注意力数据。眼镜式眼动追踪设备提供第一人称视角。集成在眼镜中的摄像头捕捉驾驶员所看到的视频，并与驾驶员的头部运动同步旋转，确保视野覆盖足够。一个缺点是，这些眼镜会妨碍驾驶员自然驾驶，特别是对于那些已经戴着自己的眼镜的人。另一种类型使用安装在车辆仪表板上方的多个摄像头。通过多摄像头的感知，可以提取眼动数据。使用外置设备，驾驶员不会受到干扰。然而，固定摄像头形式无法跟踪驾驶员向后或向侧面看时的眼动。

而同样的，Driver Datasets在自动驾驶技术中具有较强的价值，主要表现在以下几个方面：

1. 驾驶员行为建模：Driver Datasets可以用于训练和测试驾驶员行为模型，从而提高自动驾驶系统对驾驶员行为的理解和预测能力。这对于自动驾驶系统的安全性和可靠性具有重要意义。

2. 驾驶员监控和干预：Driver Datasets可以用于开发和测试驾驶员监控和干预系统，例如检测驾驶员的注意力和疲劳程度，并提醒或干预驾驶员的行为。这对于提高驾驶员的安全性和舒适性具有重要意义。

3. 驾驶员体验和用户研究：Driver Datasets可以用于用户研究和驾驶员体验的评估，例如评估自动驾驶系统对驾驶员的体验和满意度，从而指导系统的设计和开发。

4. 数据合成和增强：Driver Datasets可以用于数据合成和增强，从而增加数据的多样性和数量，提高自动驾驶系统的泛化能力和适应性。例如，可以使用Driver Datasets中的数据来合成不同场景下的驾驶员行为，从而增加数据的多样性和覆盖范围。

而本文还介绍了与交通心理学相关的驾驶员数据，并说明了生理信号是评估驾驶员心理状态和各种情绪（如紧张、焦虑、疲劳等）水平的常用手段。根据生理指标，还可以评估驾驶员的表现，从而筛选出优秀的驾驶员。

一些研究者利用心电图（ECG）和皮肤电反应（GSR）等生理信号来收集心率和皮肤温度等信息，并通过特征分析来评估驾驶员的认知负荷。另一些研究者则利用人体工效实验室系统建立了人-车驾驶模拟器，收集了皮肤、肌肉、呼吸和血氧等生理信号。此外，还有研究者通过在前挡风玻璃上安装传感器来将语音信号加入到驾驶员数据库中，或要求实验参与者佩戴脑电图（EEG）来收集前额皮质的激活水平。

虽然已经有许多关于驾驶员生理学研究的成果，但目前还没有大规模公开的驾驶员数据集可供智能提取。主要挑战在于，很少有数据集提供了车辆的时间对齐驾驶数据，因此无法将其作为决策方法的训练目标的基准。

5. Dataset Applications

在自动驾驶相关领域中的数据集综述中，Dataset Applications具有重要作用。它可以帮助人们了解不同数据集的应用范围和场景，从而更好地选择、构建和使用数据集。具体来说，Dataset Applications有以下几个方面的重要性：首先，它可以帮助人们了解不同数据集的应用场景和目的，从而更好地选择和评估数据集，根据具体的应用需求进行选择和评估。其次，它可以为数据集的构建和标注提供指导，从而使构建的数据集更加贴近实际场景和需求，针对性地构建和标注数据集。最后，它可以帮助人们了解不同数据集的研究和应用情况，从而促进数据集在自动驾驶领域的推广和应用，发掘数据集在驾驶员行为建模、自动驾驶决策等方面的应用价值，从而推广和应用这些数据集。综上所述，Dataset Applications在自动驾驶相关领域中的数据集综述中非常重要。具体来说，有以下几个应用：

1. Datasets for Driver Analysis（驾驶员分析数据集）：驾驶员分析数据集用于帮助自动驾驶车辆学习类人决策。这些数据集分为三类：驾驶员注意力、驾驶员行为和驾驶员操作。驾驶员注意力数据集主要关注驾驶员在行驶过程中关注的区域。驾驶员行为数据集收集驾驶员的行动和移动数据，可用于检测和预测驾驶员的状态。驾驶员操作数据集包括基本的驾驶员输入和其结果。

2. Driver Attention（驾驶员注意力）：驾驶员注意力数据集专注于收集驾驶员的注意力数据，以帮助研究人员分析驾驶员的注意区域和注意分散问题。这些数据集还可用于帮助自动驾驶系统识别重要区域并更加专注。驾驶员注意力数据集的示例包括Dr(eye)ve、CoCAtt和Speak2Label。

3. Driver Behaviors（驾驶员行为）：驾驶员行为数据集用于识别驾驶员的状态，反映其决策制定能力，评估他们面临的场景复杂性，并判断他们是否应该在自动驾驶系统失效时接管车辆。这些数据集还可帮助估计驾驶员的姿势、疲劳程度和注意力状态。驾驶员行为数据集的示例包括DriPE、Driver Anomaly Detection（DAD）、Drive&Act和VIVA。

4. Datasets for Environment Understanding（环境理解数据集）：环境理解数据集用于帮助自动驾驶车辆理解其周围环境。这些数据集分为三个主要子类别：情境分析、意图分析和轨迹预测。情境分析包括对场景分类、异常检测、语义分割和可行驶区域检测等进行研究。

5. Context Analysis（情境分析）：情境分析数据集用于通过时间到碰撞（TTC）和时间间隔（THW）等标准评估情境，可用于高度自动化驾驶系统的系统级验证。DoTA数据集包含多个异常参与者在不同驾驶场景下的18个异常类别的驾驶视频，对于学习分析异常情境的强大检测器非常有帮助。其他情境分析数据集的示例包括BDD100K和RUGD。

6. Intention Analysis（意图分析）：意图分析是指识别和理解人类或机器的行为意图的过程。在自动驾驶领域中，意图分析是指识别行人、车辆和其他交通参与者的行为意图，以帮助自动驾驶车辆做出更准确、更安全的决策。意图分析通常使用计算机视觉和深度学习技术来分析行为模式，例如识别行人的目的地或车辆的转向意图。意图分析是自动驾驶技术中关键的一环，可以帮助提高自动驾驶车辆的安全性和效率。

7. Trajectory Prediction（轨迹预测）：轨迹预测是指预测行人、车辆和其他交通参与者未来的运动轨迹。在自动驾驶领域中，轨迹预测是指预测其他交通参与者的轨迹，以帮助自动驾驶车辆做出更准确、更安全的决策。轨迹预测通常使用计算机视觉和深度学习技术来预测未来的运动轨迹，例如预测行人将在哪个方向上移动或车辆将转向。轨迹预测是自动驾驶技术中关键的一环，可以帮助提高自动驾驶车辆的安全性和效率。

8. Datasets for Decision Learning（决策学习数据集）：决策学习数据集是用于训练和评估自动驾驶决策算法的数据集。这些数据集通常包括车辆、行人和其他交通参与者的行为和轨迹数据，以及场景、道路和天气等环境数据。决策学习数据集是自动驾驶技术中关键的一环，可以帮助开发更准确、更鲁棒的决策算法，并加速自动驾驶技术的落地。

1. Behavioral Strategy（行为策略）：行为策略是指自动驾驶车辆在交通场景中采取的行为决策。行为策略通常包括车辆的速度、方向和加速度等控制信号，以及车辆与其他交通参与者的交互行为。行为策略可以通过使用决策学习数据集中车辆的行为注释来学习和优化，以使自动驾驶车辆能够做出更准确、更安全的决策。

2. Trajectory Planning（轨迹规划）：轨迹规划是指将行为策略转化为具体的轨迹规划方案，以使自动驾驶车辆能够实现所选的行为策略。轨迹规划通常包括考虑其他交通参与者的轨迹、道路的限制和车辆的动力学等因素，以生成可行的、安全的和高效的轨迹规划方案。轨迹规划是自动驾驶技术中关键的一环，可以帮助自动驾驶车辆实现更准确、更安全、更高效的行为决策。

3. Manipulation Learning（操作控制学习）：操作控制学习是指学习将轨迹规划转化为具体的操作控制信号的过程，例如转向、加速或制动。操作控制学习通常使用深度强化学习和控制理论等技术来学习车辆对于输入控制信号的响应，并优化控制策略，以实现更准确、更安全、更高效的操作控制。操作控制学习是自动驾驶技术中关键的一环，可以帮助自动驾驶车辆实现更精细的控制和更高水平的性能。

6. 结论

在这篇论文中，我们从车辆相关数据、环境相关数据、驾驶员相关数据以及它们的具体应用四个方面调查了自动驾驶车辆决策制定数据集的最新进展。在简要回顾决策数据集的发展历程后，我们提供了一个详细的总结，包括许多最新的数据集，这些数据集在之前的调查中没有涉及到。我们将数据类型、注释和特征分类到具体的类别中。通过比较和特征分析，我们总结了自动驾驶车辆各种决策制定的局限性和潜在应用。通过将回顾的内容按照驾驶员、车辆和环境数据集的类别进行组织，本次调查旨在为自动驾驶车辆决策制定的研究人员和开发人员提供清晰直观的选择参考。此外，我们还总结了未来的趋势，以提供有关未来数据集收集方式的建议。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~