CVPR 2023 最佳论文学习笔记：面向规划的自动驾驶（Planning-oriented Autonomous Driving）

首先，我们给出自动驾驶研究的四个分类标准：

1、自动驾驶流程不同阶段

1. 感知：专注于感知车辆周围环境的参考文献，例如物体检测和分割。
2. 预测：专注于预测环境中其他代理的未来行为的参考文献，例如轨迹预测和行为预测。
3. 规划：专注于根据感知和预测的环境规划车辆自身轨迹的参考文献，例如运动规划和路径规划。
4. 控制：专注于控制车辆运动的参考文献，例如转向和制动控制。

2、使用的数据类型

1. 传感器数据：使用传感器数据（例如激光雷达、摄像头和雷达数据）来执行感知、预测和规划任务的参考文献。常见传感器包括激光雷达，它使用激光来测量距离并创建环境的 3D 地图；摄像头，它捕获周围环境的图像；以及雷达，它使用无线电波来检测物体及其相对速度。
2. 地图数据：提供有关环境的上下文信息，例如道路布局、车道标线和交通标志的地图数据。此数据可用于提高感知和规划任务的准确性，尤其是在传感器覆盖范围有限的区域。
3. 人类数据：例如人类驾驶数据或人类生成的标签，可用于训练感知、预测和规划任务的模型。此数据可以提供有关人类如何做出决策和在环境中导航的见解，这对于开发自动驾驶系统很有价值。

3、学习方法

1. 监督学习：使用标记数据训练模型的学习方法。标签为给定输入提供正确的输出，使模型能够学习输入和输出之间的映射。此方法通常用于感知任务，例如物体检测和分类。
2. 强化学习：通过与环境的互动来训练模型的学习方法。模型通过采取行动并获得奖励或惩罚来学习，逐渐改进其行为以最大化奖励。此方法特别适用于控制任务，因为它允许模型从试错中学习。
3. 模仿学习：通过观察专家演示来训练模型的学习方法。模型通过观察专家如何执行任务然后尝试复制该行为来学习。此方法通常用于难以标记或数据有限的任务。
4. 无监督学习：从未标记数据中训练模型的学习方法。模型在不明确监督的情况下学习识别数据中的模式和结构。此方法特别适用于异常检测和特征提取等任务。

4、应用

1. 自动驾驶：专为自动驾驶应用而设计的参考文献针对自驾车的独特挑战进行了调整。这包括考虑实时性能、安全约束和处理复杂交通场景的能力。
2. 其他应用：除了自动驾驶之外还可以应用的参考文献证明了研究的更广泛适用性。这包括机器人、计算机视觉等领域的应用，以及理解和与环境交互至关重要的其他领域。

基于上述分类指标，我们看下"Planning-oriented Autonomous Driving"这篇论文分别属于哪种类型：

• 自动驾驶流程的阶段：这篇论文涵盖了自动驾驶流程的四个阶段，即感知、预测、规划和控制。这篇论文提出了一个统一的框架，将全栈驾驶任务集成在一个网络中，并使用以规划为导向的理念，优先考虑对安全和高效规划有贡献的任务。这篇论文还引入了一种新颖的统一查询设计，促进了不同任务之间的通信和协调。
• 使用的数据类型：这篇论文使用传感器数据和地图数据来执行驾驶任务。这篇论文使用激光雷达和摄像头数据来执行感知任务，如物体检测和分割，以及地图数据来执行规划任务，如车道和道路边界提取。这篇论文还使用鸟瞰图（BEV）表示来将传感器和地图数据融合成一个紧凑和信息丰富的特征图。
• 学习方法：这篇论文使用监督学习和模仿学习来训练驾驶任务的模型。这篇论文使用监督学习算法，如卷积神经网络（CNN）和变换器（transformer），来从标注数据中学习感知和预测任务。这篇论文还使用模仿学习算法，如行为克隆（behavioral cloning），来从专家示范中学习规划和控制任务。
• 应用：这篇论文专门为自动驾驶应用而设计。这篇论文在具有挑战性的nuScenes基准测试上评估了所提出的框架的性能，该基准测试包含了城市环境中的真实驾驶场景。这篇论文显示，所提出的框架在自动驾驶的各个方面都达到了最先进的结果，尤其是在预测和规划方面。