【论文解读】V2VNet: Vehicle-to-Vehicle Communication for Joint Perception and Prediction

摘要

在本文中，我们探索了使用车对车(V2V)通信来提高自动驾驶车辆的感知和运动预测性能。通过智能聚合来自附近多辆车辆的信息，我们可以从不同的角度观察同一个场景。这使我们能够透过遮挡物，并在远距离探测到物体，而在远距离观察到的物体非常稀疏或根本不存在。我们还证明了我们发送压缩深度特征图激活的方法在满足通信带宽要求的同时达到了很高的精度。

引言

在本文中，我们考虑了车对车(V2V)通信设置，其中每辆车都可以向附近车辆(半径70米以内)广播和接收信息。注意，基于现有的通信协议，该广播范围是真实的[21]。我们表明，为了在满足现有硬件传输带宽能力的同时达到具有强感知和运动预测性能的最佳折衷，我们应该发送压缩的P&P神经网络的中间表示。因此，我们推导了一种新的P&P模型，称为V2VNet，它利用空间感知图神经网络(GNN)来聚合从附近所有sdv接收的信息，使我们能够智能地组合来自场景中不同时间点和视点的信息
【SDV】self-driving vehicles

方法

在本文中，我们设计了一种新颖的感知和运动预测模型，使自动驾驶汽车能够利用多个sdv可能存在于同一地理区域的事实。在联合感知和预测算法3,5,30,31取得成功之后，我们将方法设计为执行这两项任务的联合架构，并对其进行了增强，以纳入从其他车辆接收到的信息。具体来说，我们希望设计我们的P&P模型来完成以下工作:

给定传感器数据，SDV应该

• (1)处理这些数据，
• (2)广播这些数据，
• (3)结合从附近其他SDV接收到的信息，
• (4)生成所有交通参与者在3D空间中的最终估计位置及其预测的未来轨迹。

V2V设置中出现了两个关键问题：

• （i）每辆车应该广播什么信息来保留所有重要信息，同时最大限度地减少所需的传输带宽？
• （ii）每辆车应如何整合从其他车辆收到的信息，以提高其感知和运动预测输出的准确性？

在本节中，我们将讨论这两个问题。

Which Information should be Transmitted

SDV可以选择广播三种类型的信息：

• （i）原始传感器数据，
• （iiÿ