V2vnet: Vehicle-to-vehicle communication for joint perception and prediction.

V2VNet：用于联合感知和预测的车对车通信

为了在满足现有硬件传输带宽能力的同时实现具有强感知和运动预测性能的最佳折衷，我们应该发送P&P神经网络的压缩中间表示。

第一个贡献：我们导出了一个新的P&P模型，称为V2VNet，该模型利用空间感知图形神经网络（GNN）来聚合从所有附近SDV接收的信息，允许我们智能地组合场景中不同时间点和视点的信息。

第二个贡献：一个新的数据集，称为V2V-Sim（见图1，右图），它模拟了该地区有多辆SDV行驶的环境。

我们希望设计我们的P&P模型，以实现以下目标：给定传感器数据，SDV应（1）处理该数据，（2）广播该数据，，（3）合并从附近其他SDV接收的信息，然后（4）生成所有交通参与者在3D空间中的位置及其预测的未来轨迹的最终估计。

V2V设置中出现了两个关键问题：（i）每辆车应广播哪些信息，以保留所有重要信息，同时最小化所需的传输带宽？（ii）每辆车应如何结合从其他车辆接收到的信息，以提高其感知和运动预测输出的准确性？

系统架构：

LiDAR卷积块：

根据[45]的架构，我们从LiDAR数据中提取特征，并将其转换为鸟瞰图（BEV）。具体来说，我们将过去五次LiDAR点云扫描体素化为15.6cm3体素，应用几个卷积层，并输出形状为H×W×C的特征图，其中H×W表示BEV中的场景范围，C表示特征通道的数量。我们使用3层3×3卷积滤波器（步幅为2、1、2）来生成4倍下采样的空间特征图。这是我们随后压缩并广播到附近其他SDV的中间表示。

压缩：

我们现在描述每个车辆在传输之前如何压缩其中间表示。我们采用Ballé等人的变分图像压缩算法[2]来压缩中间表示；卷积网络学习借助于学习的超优先级来压缩我们的表示。然后，通过熵编码，用很少的比特对潜在表示进行量化和无损编码。注意，我们的压缩模块是可微分的，因此是可训练的，允许我们的方法学习如何在最小化带宽的同时保留特征图信息。

跨车辆聚合：

SDV计算其中间表示并传输其压缩比特流后，对从其他车辆接收的表示进行解码。具体地，我们对比特流应用熵解码，并应用解码器CNN来提取解压缩的特征图。然后，我们汇总从其他车辆接收的信息，以生成更新的中间表示。我们的聚合模块必须处理这样一个事实，即不同的SDV位于不同的空间位置，并且由于LiDAR传感器的滚动快门和传感器每辆车的不同触发，在不同的时间戳看到参与者。这很重要，因为中间特征表示是空间感知的。