经典文献阅读之--Exploring the Causality of End-to-End Autonomous Driving(探索端到端自动驾驶的因果关系)

0. 简介

本文介绍了探索端到端自动驾驶的因果关系。基于深度学习的模型被广泛部署在自动驾驶领域中，特别是越来越受关注的端到端解决方案。然而，这些模型的黑盒属性引发了人们对其在自动驾驶中的可信度和安全性的担忧，并且如何调试因果关系已经成为一个紧迫的问题。尽管已有一些关于自动驾驶可解释性的研究，但是目前还没有系统性的解决方案来帮助研究者调试和识别导致端到端自动驾驶最终预测行为的关键因素。《Exploring the Causality of End-to-End Autonomous Driving》提出了一种全面的方法来探索和分析端到端自动驾驶的因果关系。首先，本文通过使用受控变量和反事实干预进行定性分析来验证最终规划所依赖的基本信息。然后，本文通过可视化和统计分析关键模型输入的响应，定量评估影响模型决策的因素。最后，根据多因素端到端自动驾驶系统的全面研究，本文开发了一个强大的基线和工具，用于探索闭环仿真器CARLA中的因果关系。它利用重要的输入源来获取一个精心设计的模型，从而实现高度竞争力。据我们所知，本项工作首次揭示了端到端自动驾驶的奥秘，并且将黑盒转化为白盒。深入的闭环实验表明，本文方法可以应用于端到端自动驾驶解决方案，用于实现因果关系调试。

1. 主要贡献

本文的主要贡献总结如下：

1）本文首次提出了调试和分析解决方案和基线，通过明确解释多因素决策的因果关系来揭示黑盒端到端自动驾驶的奥秘；

2）本文进行详细的定量消融和反事实干预实验，并且提出了两种类型的响应可视化方法：组件级可视化和激活地图可视化。组件级可视化从响应的时间一致性和场景相关性的角度进行深入分析，而激活地图可视化则说明了语义特征影响的空间分布；

3）通过首先采用反事实推理定性地找出导致最终预测行为的最具影响力的特征，然后应用基于注意力的策略定量分析每个因素对调整端到端模型的贡献，从而能够全面理解决策过程。

2. 方法

在本节中，我们描述了提出的端到端自动驾驶模型框架，名为DriveInsight，其整体架构如图1所示。给定多视角图像和点云输入，我们首先引入特定于模态的编码器，分别提取和转换它们独特的特征为BEV表示（第3节）。随后，利用多模态和时间融合模块，我们将这些表示融合在一起，得出统一的BEV特征（第4节）。最后，应用规划解码器根据生成的BEV标记和其他环境指标，预测自我代理的未来轨迹（第5节）。

图1：我们DriveInsight框架的整体架构。LiDAR点云和多视角图像分别在各自的编码器中进行处理。然后，得到的特征依次输入多模态融合和时间融合模块，以获得融合的BEV特征。此外，我们将其他传感器信息，包括交通标志、目标点、指令、路径规划等，转换为环境令牌嵌入。将这些令牌与BEV令牌一起发送到变压器解码器中，以预测未来的轨迹。

3. 特定于模态的编码器

3.1 摄像头编码器

对于多视角摄像头图像，我们首先采用图像主干架构（如ResNet [16]）与特征金字塔网络，提取富含语义的多尺度图像特征。遵循广泛采用的LSS [32]，我们使用估计的深度将多视图特征提升到3D视锥体，并将视锥体投影到参考平面上生成BEV特征。具体来说，该过程始于深度预测网络（DepthNet）为每个像素预测离散深度分布，然后使用该深度将每个像素散射到沿着摄像头射线的离散点。在每个点上，结果特征被确定为预测深度乘以相应像素特征。在BEV特征聚合的每个网格内，使用视锥体池化进行聚合，该池化将来自网格内部的点的特征合并在一起。

3.2 激光雷达编码器

对于给定的激光雷达点云，我们首先将输入点分箱成均匀的体素，并使用一系列3D稀疏卷积块在体素空间中提取局部3D形状信息，与该领域中已建立的方法一致。接下来，我们采用一个沙漏卷积网络作为BEV特征提取器，将3D特征展平为2D BEV视图，以捕获富含上下文信息的BEV表示。为了最大化多尺度语义的利用，我们采用特征金字塔网络，整合来自各个层次的特征，从而产生具有尺度感知的BEV输出特征。

点击经典文献阅读之--Exploring the Causality of End-to-End Autonomous Driving(探索端到端自动驾驶的因果关系) 查看全文