【论文解读】COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked Vehicles

摘要

在过去的几年里，自动驾驶汽车的光学传感器和学习算法取得了巨大的进步。尽管如此，当今自动驾驶汽车的可靠性受到有限的视距传感能力和数据驱动方法在处理极端情况时的脆弱性的阻碍。随着电信技术的发展，车对车通信的协同感知已经成为在危险或紧急情况下增强自动驾驶的一种有前途的范例。我们介绍了COOPERNAUT，这是一种端到端学习模型，它使用跨车辆感知进行基于视觉的合作驾驶。我们的模型将激光雷达信息编码成紧凑的基于点的表示，可以通过真实的无线信道作为信息在车辆之间传输。为了评估我们的模型，我们开发了AUTOCASTSIM，这是一个网络增强驾驶仿真框架，其中包含易发生事故的示例场景。我们在AUTOCASTSIM上的实验表明，在这些具有挑战性的驾驶情况下，我们的合作感知驾驶模型比自我中心驾驶模型的平均成功率提高了40%，并且比之前的工作V2VNet减少了5倍的带宽需求。COOPER-NAUT和AUTOCASTSIM可在https:// ut-austin-rpl.github.io/Coopernaut/获得。

引言

先前的工作介绍了3D传感器融合(AVR [32]， Cooper[13])和表征融合(V2VNet[41])算法，这些算法通过V2V通道聚合来自附近车辆的感知结果。他们专注于静态数据集的3D检测和运动预测，而不是交互式驾驶策略。
我们介绍了一种面向联网车辆的端到端协同驾驶模型COOPERNAUT。coopernaut学习在实际的V2V信道容量下融合附近车辆共享的编码激光雷达信息。为了在符合带宽限制的情况下，从附近车辆获取有意义的场景信息，我们设计了基于点转换器(Point Transformer)的驾驶策略架构[46]，这是一种用于点云处理的自关注网络。该架构对每辆联网车辆的原始点云进行局部预处理，形成空间感知的神经表征。这些表示是紧凑的，可以有效地在真实的无线信道上传输。同时，它们具有物理基础，因此可以在空间上转换并与自我表征聚集在一起。整个架构是端到端可微分的，允许控制监督(模仿具有特权信息访问权限的oracle计划器)流回感知堆栈，从而确保学习到的表示和消息包含与任务相关的信息。
本文的贡献：

• 本文介绍了一种基于V2V通道的端到端协同感知驾驶模型COOPERNAUT。我们的模型学习了紧凑的通信表示，可以很容易地被自我车辆利用，以改善其驾驶决策。
• 我们开发了一个网络增强自动驾驶仿真框架AUTOCASTSIM，以评估事故多发场景下的COOPERNAUT和基线，并促进未来基于视觉的合作感知研究。
• 我们的研究结果表明，COOPERNAUT大大降低了视距传感的安全隐患。它的设计在基线上提高了驾驶性能和通信效率

方法

Point Transformer

我们的模型的主干是点转换器[46]，这是一种新开发的神经网络结构，可以从3D点云中学习基于紧凑点的表示。它解释了点之间的非局部相互作用，并产生了排列不变的表示，使其能够有效地聚合多车辆点云。在这里，我们简要回顾一下点式变压器。我们采用了向量自注意来构建点变换器层。我们还应用特征之间的减法，并将位置编码函数δ附加到注意力向量γ和变换后的特征α：
其中xi和xj分别为点i和点j的输入特征，yi为点i的输出注意特征，X (i)表示点xi的邻域点集;φ， ψ和α是逐点特征变换，是MLP;γ是一个具有两层和一个ReLU非线性的MLP映射函数;δ是位置编码函数，ρ是一个归一化函数softmax。给定点i和点j的三维坐标pi, pj∈R3，则positionencoding函数的表达式为:

其中θ是具有两个线性层和一个ReLU的MLP。
点变换器块如图2所示，它集成了自注意层、线性投影和残差连接。输入是具有每个点的特征x的一组3D点p。该块实现了点之间的局部信息交换，并为每个点生成新的特征向量。图2中的下采样块用于减少点集的基数。我们对输入集执行最远点采样[17]，以获得一个分布良好的子集，然后使用kNN图和邻域中的（局部）最大池化，将信息进一步压缩到更小的点集。输出是具有新特征的原始输入点的子集。

COOPERNAUT是一种用于联网车辆的端到端基于视觉的驾驶模型。它包含一个点编码器，用于在本地提取关键信息以供共享，一个表示聚合器，用于合并多车辆消息，以及一个控制模块，用于推理联合消息。编码器产生的每个消息具有128个关键点坐标及其相关特征。然后，信息在空间上被转化为自我框架。自我载体通过体素最大池合并传入消息并计算聚合表示。最后，聚合器综合来自自我车辆及其所有邻居的联合表示，然后将其传递给控制模块以产生控制决策。括号中的数字表示数据维度。

OUR MODEL

为了减少通信负担，每辆V2V车辆都会在本地处理自己的激光雷达数据，并将原始3D点云编码为关键点，每个关键点都与点变换器块学习的紧凑表示相关联。我们构造了具有三个点变换器块和两个下采样块的编码器，这两个块的下采样率均为（1，4，4）。中间表示的最终基数是P/16，其中P是原始点云中的点数。在我们的实验中，我们通过体素池将65536个原始激光雷达点预处理为2048个点，即，使用体素质心表示体素网格中的点。
由第j辆车产生的消息Mj包括一组基于位置的表示Mj，并且在数学上被描述为Mj={（pjk，Rpjk）}K，其中pjk∈R3对于K=1，K是关键点在3D空间中的位置，并且Rpjk是由点编码器产生的其对应的特征向量。

• 表示聚合器：从其他车辆传输的信息需要由自我车辆进行融合和解释。用于协同感知的表示聚合器（RA）被实现为体素最大池化操作和点变换器块。RA首先使用其他车辆的相对姿态将其他车辆坐标中的关键点空间变换到自身车辆的框架。此操作假定车辆定位准确（例如，使用高清地图）。然后，它通过最大池化位于同一体素网格单元内的所有点来聚合空间上接近的传入消息。最后，它将多视图感知信息与另一个点变换器块融合。上面的两个操作保持了相对于其他车辆排序的排列不变性，并且可以处理可变数量的共享车辆。对于带宽控制，COOPERNAUT接收来自附近三辆随机选择的V2V车辆的消息。
• 控制模块：控制模块是一个完全连接的神经网络，设计用于根据接收到的消息做出控制决策。这些控制决策包括节气门、制动器和转向，分别表示为标量T、B和S。这些从模型输出的值首先被剪裁到它们的有效范围（例如，节流阀的[0,1]）。为了遵守限速规则，我们采用PID速度控制器来防止超速。

Policy Learning

我们使用DAgger[35]训练我们的模型以模仿具有特权信息的专家策略。为了启动策略学习，我们首先使用行为克隆来训练模型。行为克隆。行为克隆旨在最大限度地缩小培训策略和专家策略之间的分布差距。目标是找到一个最优策略π，使得专家的策略π在其诱导的状态分布s下的损失w.r.t.最小化，即
目标函数ℓ控制是的线性组合ℓ1-在政策行动和专家行动之间失去油门、刹车和转向：
Codevilla等人[15]讨论了自动驾驶行为克隆的局限性。DAgger[35]通过在线培训解决了协方差偏移问题。其核心思想是让学生政策在专家的监督下与环境互动，并将专家的行动记录在学生访问的相同状态上。训练数据集是迭代聚合的，使用学生和专家的混合动作。第i次迭代的抽样策略πi为:

其中βi = β0 × βi−1从初始β0开始呈指数递减，表示在第i次迭代中执行专家动作的概率。

AUTOCASTSIM

我们提出了AUTOCASTSIM，这是一个在CARLA之上提供网络增强自动驾驶仿真的仿真框架[16]。该仿真框架允许定制各种交通场景的设计，以训练和评估合作驾驶模型。模拟车辆可以配置真实的无线通信。它还为基于路径规划的oracle专家提供访问特权环境信息的权限

三个场景

• 超车。一辆卡车挡住了一辆轿车的道路上的双向单车道的黄色虚线分隔。卡车也阻碍了轿车对对面车道的视野。小轿车必须用变道动作超车。
• 左转。ego汽车试图在左转信号灯处左转，但在对面的左转车道上遇到了另一辆卡车，挡住了它对对面车道和潜在直行车辆的视线。
• 闯红灯。当另一辆车闯红灯时，那辆小轿车正穿过十字路口。激光雷达无法感知到其他车辆，因为排队等待左转的车辆。
  

具体而言，我们使用安装在移动车辆顶部的三个iSmartways DSRC无线电和三个C-V2X无线电[2]来测量实际中连续无线传输的最大容量。表1显示了测试的吞吐量和丢包量。它还显示了WiFi (802.11n, ac)的吞吐量。请注意，802.11系列不是为移动场景设计的。从表1可以看出，V2V带宽比室内无线容量小两个数量级。在实践中，极其有限的带宽为设计V2V通信的表示提出了重大挑战。我们在模拟器中使用Winner II无线信道模型[25]，并在信道模型中使用测量的C-V2X无线电容量和丢包率。我们参考先前的工作[33]来设计和实现协调、调度和网络传输层。

Oracle Expert

专家可以访问流量场景的特权信息。这些信息包括来自所有相邻车辆的激光雷达的点云，以及这些相邻车辆和其他交通参与者的位置和速度。专家将所有来自相邻车辆的点云转换为其自身视角(由于上文提到的无线带宽限制，这是不切实际的)。将变换后的点云进行融合，用于下游障碍物检测和规划。专家策略利用上述所有信息来分析和避免可能的冲突。路径规划算法使用A*轨迹规划器[19]，具有姿态和距离启发式。专家以每小时20公里的目标速度移动

实验

局限性

虽然我们的协同感知模型符合现实的无线带宽，但我们不考虑实际的网络问题，包括传输延迟、网络协议和重复或丢失的数据包。尽管如此，COOPERNAUT 在一定程度上对丢包具有鲁棒性（AUTOCASTSIM 中配置为 5%）。它的随机邻居选择还为来自单个发射机的终端丢包增加了另一层。此外，假设COOPERNAUT使用高精度的车辆定位，将邻近车辆的基于点的表示转换为自我车辆，即使AUTOCASTSIM模拟车辆的姿态和高度估计的轻微误差。实际上，在没有高清地图(HDMap)的情况下，定位误差可以产生高达米级的位移。使用HDMap可以显著提高位置和姿态估计，这在工业界和学术界普遍采用[23,44]。为了公平比较，我们对所有基于点的基线和我们的方法使用相同的下采样方案，这在我们的移动车辆和大障碍物的场景中被证明是有效的。对于行人等较小的物体，基于语义信息的自适应采样方案是未来工作的一个有前途的方向。

结论和未来工作

这项工作在新设计的仿真基准AUTOCASTSIM中研究了基于视觉的网络车辆协同感知驾驶。我们推出了COOPERNAUT，这是一种端到端驾驶策略，可以对联网车辆的3D激光雷达数据进行编码、聚合和分析。COOPERNAUT的点编码器和表示聚合器保留了详细的空间信息，并且对不同数量的通信车辆具有鲁棒性。我们的实证结果表明，我们的方法提高了风险敏感交通场景下自动驾驶策略的鲁棒性。这项工作有很大的扩展空间。我们的方法依赖于人工设计的模拟学习。它留下了一些开放的问题来研究自适应策略，如何时进行通信，在消息中编码什么，以及如何协作驱动，理想情况下不需要算法oracle。