Robust Real-time Multi-vehicle Collaboration on Asynchronous Sensors

同步：synchronization；异步：Asynchronous。

摘要

协同感知显著提高了互联自主车辆的感知性能。它不是纯粹依靠范围有限的本地传感器，而是使多辆汽车和路边基础设施能够共享传感器数据，以协同感知环境。通过我们的研究，我们意识到，合作感知系统的性能是有限的，在现实世界的部署，由于（1）在数据融合过程中的传感器数据不同步和（2）闭塞区域的不准确定位。
为了应对这些挑战，我们开发了RAO，这是一种创新的，有效的，轻量级的协作感知系统，通过我们新颖的运动补偿占用流预测和按需数据共享（motion-compensated occupancy flow pre-diction and on-demand data sharing）设计，合并来自不同车辆的异步传感器数据，提高感知系统的准确性和覆盖范围。我们的广泛评估，包括真实世界和基于仿真的实验，表明RAO在感知覆盖率方面优于最先进的解决方案超过34%，在感知准确性方面高达14%，特别是当存在异步传感器数据时。RAO在各种地图拓扑（map topologies）和驾驶场景中始终表现良好。RAO引起可忽略的额外延迟（8.5 ms）和低数据传输开销（每帧10.9 KB），使得协作感知可行。

关键词：协同感知，自动汽车，车载网络，激光雷达

1、介绍

互联和自动驾驶车辆（Connected and autonomous vehicles，CAV）依赖于各种先进的车载传感器（例如，GNSS、相机、雷达和LiDAR）来将他们的自我姿态（ego pose）与当地的道路元素相联系（例如，车道、交通标志），以及检测其他交通参与者。然而，传感器的有效范围可能受到限制。例如，现成的LiDAR传感器具有约80米的有效范围[10]，超过该有效范围，传感器数据的分辨率（即，点云）急剧减少。为此，CAV之间的合作以及路边的基础设施可以提高个人CAV的感知能力，通过扩大感知范围和覆盖闭塞地区。通过共享传感器数据，每辆车都能够扩大对周围环境的感知，做出更准确的预测，从而更优化地规划其驾驶行为。

近年来，协作感知[16，17，27，30，51，58，62，63，69]在研究界越来越受欢迎。一个挑战是系统的可扩展性。即使使用最先进的无线通信技术，共享原始传感器数据的带宽使用也是不可持续的。如果天真地共享高保真数据的全帧，估计带宽使用超过300 Mbps [69]，这远远超出了当前车载网络的容量（例如，C-V2X，数十Mbps）[57，64]。
为了解决这个问题，可以首先将原始点云划分为区域，然后只传输最相关的区域。我们称这种方法为分区和选择性共享。例如，EMP [69]（EMP：边缘辅助多车辆感知。）共享近距离点，而AutoCast [51]（Autocast：可扩展的无基础设施协作感知，用于分布式协作驾驶。）共享低可见性和与规划高度相关的对象的点。

虽然成功地解决了可扩展性，但这种选择性共享方法面临两个基本挑战：
（1）在数据融合期间，车辆的本地传感器数据和来自远程车辆（或基础设施）的数据是异步的，或在不同时间捕获，这是由于两侧的传感器配置不同和不可预测的无线传输延迟。两帧之间的时间间隔可能大于100 ms [2，54]，导致不准确的数据合并和下游感知任务的性能受损。
(2)对遮挡区域（occluded areas）的间接估计可能是不准确的。特别是，EMP和AutoCast都不是利用车辆对其自身遮挡区域的直接和更准确的洞察，而是通过询问他人或使用简单的地理信息来获得位置估计。在不知道阻挡视图的障碍物的确切位置和形状的情况下，这种做法可能无法共享关键的遮挡区域。

在本文中，我们专注于通过解决异步传感器数据和不准确的遮挡定位所带来的挑战来提高合作感知。为了实现这一点，我们开发了RAO，一种实时 异步遮挡 感知 多车辆 协作感知系统，其中合并的传感器数据一致且准确地覆盖遮挡区域（例如，车辆的盲点），而不会引起额外的处理延迟。虽然我们使用LiDAR作为说明性示例来表示周围环境中的通用3D几何特征，但RAO也可以应用于其他传感器，如立体相机或雷达。

我们为LiDAR传感器开发了事件驱动的异步协议，使四个独立的点云处理和共享任务能够并行进行，而不会引入额外的延迟：
(1）当车辆获得本地LiDAR图像时，它会生成并共享占用地图，这是一个2D地图，标记道路上的空闲区域和占用区域。
(2)同时，在每个LiDAR扫描周期中，每辆车都会发送数据请求，向远程车辆或基础设施请求LiDAR数据。优化数据请求以最大限度地提高合并点云的质量。
(3)在接收到数据请求时，数据被准备并发送回相应的车辆。
(4)一旦车辆接收到本地LiDAR传感器图像，它就会将图像与请求的传感器数据合并，然后执行下游感知任务，例如物体检测和跟踪。

为了解决合并异步传感器数据的挑战，我们设计了一种新的运动补偿 占用流预测方法（motion-compensated occupancy flow prediction method），适用于具有高车辆移动性以及异步和噪声数据的具有挑战性的汽车场景。我们的预测方法提供了足够的弹性对异步数据在多车辆感知协作，利用从以前的帧计算得到的运动信息。此外，为了解决不完全遮挡估计所带来的挑战，我们采取了以自我为中心的方法，允许车辆确定自己的遮挡区域，因为车辆对这些区域有直接和更准确的了解。与依赖于远程车辆的间接估计的现有技术（prior art）相比，我们的解决方案使合并的传感器数据能够覆盖更多的遮挡区域，并提高感知精度。

为了评估RAO，我们实现了一个原型，并在车辆异步传输和处理LiDAR数据的现实设置中运行该系统。利用从真实世界和逼真的合成驾驶场景中收集的三个数据集，我们表明RAO在感知覆盖率和准确性方面分别比最先进的解决方案提高了34%和14%。**RAO是轻量级的;**它仅向消费者侧的感知过程引入8.5ms的额外延迟，并且平均每帧生成10.9KB的数据量。大量的实验表明，RAO在丰富的地图拓扑结构和驾驶场景中表现良好。

本文的主要贡献如下：
1、我们确定了实际协作传感器共享 中同步和不准确遮挡定位的挑战，并分析了它们对协作感知的影响。
2、设计并实现了实时多车协同感知框架RAO，该框架具有对异步数据的鲁棒性和高效的数据共享调度。
3、我们提出了占用流量预测和按需数据共享的创新设计，可以有效地同步在不同时间戳捕获的LiDAR点云，实现无缝的多车辆数据对齐和融合。
4、通过在两个大规模数据集和一个现场测试上的系统实验，我们证明了RAO在感知准确性和覆盖率方面带来了显着的性能改善，并且系统开销很小。

2、背景

**协作感知。**协作感知的出现旨在增强CAV对周围环境的感知能力。由于道路上的其他障碍物造成的遮挡，车辆的车载传感器可能无法检测到进入其路径的关键物体。被遮挡的物体可能被检测得太晚而无法避免碰撞。图1显示了这样的场景：通过从车辆2（V2）共享的传感器数据，车辆1（V1）的感知可以覆盖最初被公交车遮挡的行人。此外，由于技术限制，传感器具有预定义的感知范围。存在有效感知范围不足以进行安全操纵的极端情况（corner cases）。在图1的场景2中，V1打算改变到具有高速交通的相邻车道。变道时间和加速时间等因素决定了V1之后安全完成变道操纵所需的感知范围[47]。通过共享传感器数据，接近V2这样的车辆可以使V1受益于扩展的感知。

现有的合作感知方案可以以几种方式分组。
(1)数据共享阶段：
早期融合共享方案[14，16，32，51，69]共享早期原始传感器数据，其通常具有通用格式，但需要相对较高的传输带宽;
特征级共享方案[15，17，58，62，67]发送感知的中间特征，提供网络效率和感知准确性之间的平衡;
对象级共享方案[40，54，55]直接共享轻量级感知结果，例如对象边界框。
(2)网络通信拓扑：
车辆到车辆（V2 V）共享方案[16，51，63]没有集中方(类似数据集中中心），共享消息直接在车辆之间交换;
车辆到基础设施（V2 I）共享方案[11，69]利用基础设施资源，如边缘节点，来聚合车辆数据并将感知结果分发回车辆。
**(3)传感器类型：**协作感知可以建立在各种类型的传感器上[50]，而现有的工作主要集中在激光雷达上。

**车载无线网络。**已经开发了车载无线网络，以促进车辆和路边基础设施之间的协作，以完成各种任务[40，50，52]。使用DSRC [28]的商业产品可以达到27 Mbps。一些现代车辆还配备了蜂窝接口，支持具有数十Mbps的更高带宽的直接模式[22，43，57]。随着5G的出现，车载网络带宽的增长甚至更高[1，46]。然而，由于诸如庞大的数据大小和带宽波动等因素，通过车载无线网络共享数据是具有挑战性的。以前的研究[51，69]探索了通过V2 V/V2 I无线网络共享传感器数据时减少数据传输开销并适应带宽变化的方法。它们使用的一种常见设计是，车辆通过数学算法识别最相关的信息，仅传输部分传感器数据。

3、motivation动机

在这项工作中，我们专注于早期融合协作感知[16，51，58，63]，其中车辆通过无线网络共享LiDAR数据并在本地处理数据。对原始传感器数据进行操作可以灵活使用合并数据。通过成熟的网络基础设施和适当的数据分区，可以实现高效的数据共享。
然而，现有的系统方案具有严重的局限性，包括由于多车辆数据共享的异步性质而导致的不准确的数据融合以及由于不完整的遮挡检测而导致的共享数据不足。我们在第3.1节和第3.2节中详细讨论了这些问题，并通过实现第3.3节中列出的设计目标来解决这些问题。
Terms.我们将接收传感器数据的车辆称为消费者。其他与消费者共享传感器数据的车辆和路边基础设施是生产者。请注意，车辆可以同时扮演这两个角色。

3.1异步（Asynchronous）传感器数据

现有的早期融合协作感知建议合并异步传感器数据，但很少解决由此产生的不准确性问题。为此，我们分解同步问题，并分析图2所示的合作感知中事件的时间顺序。

车辆之间的时间间隔（Inter-vehicle time gap）车载LiDAR传感器定期产生数据（大多数商用LiDAR传感器的周期为100 ms [10]）。然而，不同LiDAR上的LiDAR图像的捕获时间并不同步，导致每两辆车的LiDAR图像的时间戳之间不可避免地存在间隙。例如，在图2中，生产者在时间戳0 ms时从其本地传感器获得LiDAR图像，而消费者的下一个图像在0 ms和100 ms之间生成。对于每对生产者和消费者，我们将车辆间时间间隙定义为生产者的LiDAR图像的生成与消费者的 下一个 LiDAR图像的生成之间的时间差。请注意，此时间间隔主要归因于LiDAR设备的配置，因此无法通过传统的时钟同步方法（如NTP）来缓解[44]。

数据到达延迟(Data arrival delay)。即使生产者发送其LiDAR数据，数据也不会立即到达消费者。在消费者可以使用之前，数据经过预处理（例如，分割、压缩），传输，和后处理（例如，压缩），正如以前的工作[16，58，69]中所提出的，整个处理持续时间很少福尔斯低于100 ms，因此不能忽略。我们将数据到达延迟定义为生产者生成本地LiDAR数据和消费者接收处理后的可用数据之间的间隔。
由于上述因素，消费者在生成其自己的本地数据时可能没有生产者的最新LiDAR数据。

然而，为了最大限度地减少下游感知任务的延迟，大多数现有的协作感知解决方案选择 在接收 到本地LiDAR数据后 立即执行 数据融合和感知。通过这种方式，由于LiDAR数据融合是一个简单的合并3D点的过程，因此与单车辆感知相比，这些系统对感知任务几乎没有额外的延迟。

问题是，在这样的系统中，生产者的数据可以有多过时。形式上，给定生产者和消费者，我们使用T 表示LiDAR周期时间（例如，100 ms），车辆间时间间隔δ１，数据到达延迟δ２。从定义上讲，δ２不可避免地会造成了数据融合的时间差。在数据到达和消费者生成下一个LiDAR图像之间也有一个时间间隔，即（δ1-δ２modT）。因此，数据融合的总时间间隔为：

理想情况下，生产者的数据到达消费者的数据融合的时刻。在这种情况下，δ1-δ２mod T 为零，δ等于δ2。相比之下，在最坏的情况下，生产者的数据在数据融合之后立即到达。𝛿上升到𝛿+T。

这种同步问题没有明确讨论在现有的合作感知建议。传统机器人感知中的错误容忍机制对于CAV来说可能并不理想，这主要是由于复杂的驾驶场景和严格的延迟要求。例如，配准算法（例如，ICP）用于多机器人SLAM [20]中以校准生成的地图。这种方法在空间上对齐静止物体的地图，但不能解决异步时间帧。或者，其他方法[24，53]采用运动模型（例如，运动学模型）来预测移动对象的行为。然而，对于那些道路上的远程未识别车辆，获得这样的运动模型可能是具有挑战性的。对于联网车辆应用，AutoCast [51]报告称其数据处理和传输均略低于100 ms。因此，当车辆间时间间隔接近100 ms时，根据公式1，最坏情况下的数据融合时间间隔几乎为300 ms，在此期间，60 km/h的车辆可以将其位置移动5米。

如图3所示，如果没有适当的同步，很难在合并的点云中识别对象。V2 VNet [58]是一种用于中间融合协作感知的深度学习模型，它使用神经网络来补偿时间差。它指出，原始点云上的同步是不平凡的，因此在其评估中没有实现。VIPS [54]通过对齐来自不同CAV的边界框来容忍异步性，这仅在对象级共享方案中有效。自动驾驶车辆[2，3]通常使用高清（HD）地图进行准确定位，但单独使用地图无法解决异步问题，因为错误来自不一致的时间戳，而不是不准确的定位。据我们所知，目前还没有解决早期融合同步挑战的工作。

3.2不完全遮挡估计

为了减少传输延迟，早期融合协作感知方案通常会缩小共享LiDAR数据的大小。除了压缩和采样，以前的工作[50，51]提出只共享关键区域，即，其他人的盲点。基于这样一种认识，即在观测良好的区域提高传感器数据质量并不会给下游任务带来很大好处。例如，在EMP中，车辆基于Voronoi图在近距离区域共享LiDAR数据[12]。在AutoCast中，生产者根据消费者的视角估计消费者的盲点。具体来说，AutoCast中的生产者确认消费者的位置，定位道路上的物体，最后执行简单的光线投射来**“猜测”消费者被这些物体遮挡的盲点**。由于盲点估计，AutoCast在数据融合后可以覆盖比EMP更多的区域。然而，估计的遮挡区域可能与地面实况显著不同。我们分析不准确的来源如下。

首先，每个生产者的感知范围有限，因此可能无法观察到阻挡消费者视线的所有障碍物。在不知道具体障碍物位置的情况下，供应商很难识别障碍物后面的区域；相反，消费者对其自己的遮挡区域有准确的了解。如图4所示，消费者的一个遮挡区域超过50平方米，被生产者错过，因为生产者不知道导致遮挡的关键障碍物。

其次，生产者不能识别障碍物的完整形状，因此光线投射方法有时在识别遮挡区域时不准确。在图4中，生产者观察到一个关键障碍物，该障碍物可能会阻挡消费者的视线，但只能看到障碍物的一侧，而不知道其深度。因此，当生产者使用部分障碍物进行光线投射时，它隐含地假设消费者可以“透视”后部，导致估计的遮挡区域比地面实况窄得多。

由于这些不准确性，以生产者为中心的遮挡估计经常错过消费者的实际遮挡区域，降低了数据共享的好处。

3.3设计目标

在建立RAO，我们的目标是解决上述问题，同时实现实时鲁棒的协同感知。
1.对异步数据的鲁棒性。在车辆共享异步传感器数据的现实驾驶场景下，RAO应该产生准确的感知结果。
2.高遮挡覆盖率。大部分的闭塞区域应该用来自远程车辆的传感器数据填充。
3.实时协议。RAO协议的执行应满足真实车辆感知系统的实时性要求。具体而言，每个感知周期应在100 ms内完成[39]。
4.感知的额外延迟可以忽略不计。与单车辆感知相比，RAO不应导致车辆获得感知结果的任何可观察延迟。

4、系统设计

我们描述了RAO如何满足3.3中概述的每个设计目标。
在4.1节中阐明了如何克服先前工作的局限性之后，
我们在4.2节中介绍了RAO的关键组件和一般工作流程。
然后，我们分别在4.3、4.4和4.5节中详细阐述了三个关键组件的详细设计：占用图生成、占用流预测和数据调度。

4.1系统总览

为了解决由异步数据（3.1）和不完整盲点（3.2）引起的不准确问题，我们在RAO的设计中提出了两种新的解决方案，即占用流预测和按需数据调度。

占用流预测。虽然到达消费者的传感器数据项本质上是异步的，但仍然可以使用智能预测机制来同步从不同生产者接收的点云。虽然有大量关于场景流预测的文献可以根据先前的帧预测LiDAR图像的后续帧[18，23，34，37]，但这些算法不适合我们的目标应用。它们无法足够快地生成实时感知的结果，大多数需要接近或超过100 ms。此外，我们的目标是将点云同步到任何给定的未来时间戳，以补偿LiDAR图像之间的任意时间间隔，而现有算法是逐帧的，只能以固定的间隔同步点云。

为了实现实时预测，我们通过考虑CAV场景的 唯一性 来简化预测问题：数据的异步主要体现在对象上（例如，车辆）在表面上移动（例如，地面）。因此，与专注于独立LiDAR点的传统方法不同，我们提出了一种有效的预测算法，仅跟踪非地面点群。使用我们的机制，在每帧中接收到本地LiDAR图像后，车辆将LiDAR点聚类以定位道路上的物体，并通过比较连续帧中相应的聚类来估计聚类物体的运动。通过这种方式，无论何时需要同步，即使接收到的数据帧丢失或延迟，消费者也可以利用预测来补偿任意的时间间隔。

按需数据调度。为了检测盲点，我们认为消费者自己拥有最准确和可靠的信息，因为他们可以很容易地识别出很少甚至没有LiDAR点的区域，并将这些区域标记为遮挡区域。受此启发，我们主张消费者应主动(proactively)向生产者索取特定领域的数据，这与当前的主流方法（如EMP [69]和AutoCast [51]）不同，生产者必须“猜测”消费者的盲点。
这种以消费者为中心的方法有两个优点：
（1）它提高了盲点估计的准确性，因为消费者知道最好的;
（2）消费者的主动数据请求防止多个生产者共享重复数据，从而消除了不必要的带宽使用。

4.2系统组件

在RAO中，生产者和消费者通过车载无线网络连接，允许交换传感器数据和控制消息。RAO的协议是事件驱动的，这意味着协议任务由生产者和消费者异步执行。
如图5所示，协议任务的执行由某些事件触发，或者是生成新的数据帧，或者是完成先前的过程。RAO的工作流程可以分为四个独立的任务：占用地图生成，数据请求生成，数据响应生成和数据融合。

占用图生成负责生成占用地图，其中道路上的对象，自由驾驶区域和不可见区域在2D空间中被标记。对于每辆车，在其LiDAR传感器生成本地LiDAR图像后，该组件立即开始生成占用地图，并在完成后广播地图。
占用地图生成过程包括几个步骤：
(1）RAO运行LiDAR分割，将LiDAR点分离为地面点和物体点。
(2)然后，我们的聚类算法(clustering algorithm)将对象点分配到单独的对象组中，并且对象跟踪算法在连续帧之间的聚类上应用相关性。
(3)为了估计稍后用于占用流预测的对象运动，RAO利用3D点云配准来获得每个簇在两个连续帧上的准确变换，从该变换中可以获得运动参数（例如，速度）提取。
(4)最后，占用图沿着连同其对应的轨道和运动参数一起被捆绑在一起并且通过V2V网络广播。

数据请求生成在消费者上执行，以确定应该向生产者发送什么数据请求。一旦消费者生成其本地占用地图，就触发该过程。这个过程的一个重要部分是数据调度，它将覆盖已识别盲点区域的所需LiDAR数据分配给可用的生产者。为了实现LiDAR数据的高质量融合，生产商的LiDAR数据应该具有合理的高分辨率（即，点的密度）。
为了实现这一目标，消费者首先（1）使用我们的占用流量预测方法将消费者和生产者侧的不同占用地图 映射到下一个LiDAR周期的时间戳;
（2）然后消费者解决优化问题，将每个所需的盲点区域分配给生产者，生产者可以在该区域提供最佳质量的传感器数据。
(3)消费者向相应的生产者发送一系列请求。

数据响应生成在生产者上执行，并通过接收消费者的数据请求来触发。对于每个接收到的数据请求，生产者获取其最新的本地生成的LiDAR图像，并将其划分为每个请求的感兴趣区域。然后，生产者将分区图像转换为消费者请求的时间戳，并将其发送回消费者。这个同步步骤再次利用了我们的占用流量预测方法。

数据融合是将来自不同车辆的可用LiDAR图像合并的最后过程，然后将生成的结果馈送到下游感知模块。
一旦消费者车辆获得其本地LiDAR图像，它会立即收集其他生产商共享的LiDAR数据，将所有LiDAR图像转换到同一坐标系，然后将它们组合在一起。不需要额外的数据处理，因为生产者已经执行了分区和同步任务，交付了转换后的数据。由于其简单性，RAO不会向下游模块引入可观察到的延迟。

请注意，RAO是一个建立在基本CAV体系结构上的框架。我们假设CAV可以主动发现附近的CAV，并通过C-V2X或DSRC建立双向V2V连接。CAV还可以传递其姿态和位置（GPS/IMU），这是将LiDAR数据转换到相同坐标系统所需的。

在本节的其余部分，我们详细介绍了我们在RAO的设计的三个主要机械组成部分。

4.3运动感知占用地图

该组件生成占用地图，该地图不仅标记道路上物体的位置，还跟踪它们的移动轨迹和运动参数。现有的基于深度学习的感知解决方案不适合生成占用地图，因为它们需要大量的计算资源并服务于不同的目标。在RAO中，占用图充当CAV之间频繁共享的元数据，以指导整体数据共享的有效调度。为此，占用地图需要在计算和通信开销方面是轻量级的。相比之下，基于深度学习的感知算法，例如3D对象检测和跟踪，在数据融合之后对合并的传感器数据执行。占领地图通过提高数据融合的质量间接地使那些昂贵的感知（expensive）算法受益。我们如下介绍占用图的生成。

激光雷达 点分割。
我们首先利用自动驾驶系统提供的高清地图，移除位于道路区域之外的不太有用的背景点[2，3]。
然后，我们使用现有的地面检测算法[21，48]来检测地面并去除地面上的LiDAR点。
通过对剩余的点进行聚类，我们可以识别道路上的所有非地面对象，每个聚类代表一个唯一的道路上对象。该方法在现有技术中已被证明是有效的[19，60，68]。

区域分割。在识别道路对象后，我们生成了2D空间占用的细粒度表示，该表示将2D空间分为三类：已占用、空闲和被遮挡。
(1)通过计算对象簇的凸壳[13]来生成占用面积。
(2)自由区表示仅包含地面点的区域。如图6所示，我们将2D空间均匀地分割为顶点（vertex）为LiDAR位置的地段(地段的数量可针对不同的粒度进行配置)。在每个扇区中，我们测量从激光雷达位置到最近的非地面点的距离，并将距离内的区域标记为自由区域。
(3)遮挡区域是我们在合作感知中的主要兴趣。它们构成既不空闲也不被占用的区域，可以通过从整个区域减去占用和空闲区域来容易地得出它们。图6展示了在真实环境中获得的LiDAR点云的2D区域分割。

与传统的基于网格的占用地图[29，36，51]不同，我们的占用地图使用 多边形 表示来划分区域。与网格表示相比，这种方法有两个显著的优点：(1)多边形可以以更高的精度表示任意形状；(2)通过调整轮廓平滑因子，多边形表示更加灵活，在重建精度和数据量之间取得了适当的平衡。例如，LiDAR点太大，边界框不能表示任意形状，网格数据效率不高，因为大片空白区域可能包含许多网格。

运动估计。RAO中除了需要道路上的目标检测外，还需要运动状态。传统的基于运动建模的方法[56，65]（如运动学模型）不能用于占用地图，因为（1）人们很难获得运动建模所需的道路上物体的准确运动参数，以及（2）由于不断变化的视角，占用区域的形状会随着时间而改变。为了应对这些挑战，我们利用特定于点集群的相似性度量（例如，点的分布），以估计对象在帧上的运动。

在RAO中，我们设计了一个密度感知的多目标跟踪算法的点簇。受AB3DMOT [59]（3D多对象跟踪的基线）的启发，我们利用亲和矩阵2（affinity matrix2）进行多对象跟踪，并如下重新设计矩阵：给定任何两个对象（即，占用区域），我们将亲和度分数定义为两个项的加权和，（1）两个聚类的凸包的质心之间的距离，以及（2）点密度的差，作为点的数量除以凸包的面积。凸包可以直接从点云计算，而不需要额外的对象检测算法，最大限度地减少潜在的不准确性。两个聚类的亲和度分数由等式2给出，其中，X1和X2表示连续帧中的两个聚类，并且W1、W2是系数(coefficients)。


（1）两个聚类的凸包的质心之间的距离；
（2）点密度的差，作为 点的数量 除以凸包的面积。

然后，我们根据对象在两个连续帧中的点簇来估计对象的运动，由表示，其中i 是对象的ID 和t/t’(t’>t) 是两帧的时间戳。我们首先选择先前占用区域的质心作为一个参考点（它将在稍后的透视变换过程中充当对象的“中心”）。两个点簇都将进行变换，以使用此参照点作为其原点。我们用变换矩阵𝑇𝑡 i,𝑐𝑒𝑛𝑡𝑒𝑟表示中心变换。从形式上讲，

其中Yt i和Y t’ i是以参考点为中心的聚类。
然后，我们应用点云配准算法[25]来发现一个变换T t’ reg，通过变换Y t i使其与Y t’ i的平方距离最小化，如下所示：

利用三维点分布的丰富特征，Yt i和Y t’ i之间的配准可以准确地捕获在两个连续帧之间的姿态变化。接下来，我们对变换矩阵T t’ reg进行归一化，以表示每个时间单位的变换。具体来说（Specifically)，我们从T t’ reg中提取平移向量和旋转向量，并将它们除以时间差（t′−t），以获得每时间单位的平移和旋转。然后，我们将每个时间单位的变换矩阵重构为：T t’ i,unit。我们将此操作称为Scale：

我们还将时间戳中的参考点t更新为t’。尽管在不同的时间戳上，两个参考点指的是对象本身上的相同位置

我们将存储T t’ i,center和T t’ i,unit作为时间戳t’ 处的估计运动，这将用于占用流预测（§4.4）。当新帧到达时，迭代地执行该运动估计任务。在RAO中，我们将不同对象的运动估计过程并行化，以减少处理延迟。

4.4占用流预测

占用流预测被设计用于“同步”来自不同车辆的数据。
消费者可以在数据请求生成期间将其可用的占用地图同步到未来的LiDAR扫描周期。
在数据响应生成期间，生产者可以将最新的LiDAR图像同步到消费者请求的时间戳。

占用图预测。RAO能够基于在时间戳 t 处的现有运动感知占用图来预测在时间戳t '处的占用图的未来状态，其中t’ >t 。如§4.3中所讨论的，每个被占用区域与运动矢量相关联，该运动矢量包含居中心变换矩阵T t’ i,center和单位时间变换矩阵T t’ i,unit，其中，i 表示被占用区域的ID。假设在时间戳t 的被占用区域 i 的顶点是 X t i（被占用区域由多边形表示），我们可以预测这些顶点在时间戳 t ′的位置：

我们首先以最新的参考点为原点(origin)，将占用的区域集中起来，然后应用单位时间变换。最后，将计算的占用区域映射回LiDAR坐标。其次，预测遮挡区域。我们计算新预测的被占用区域所遮挡的区域，并将其与时间戳 t 处的遮挡区域进行比较。我们去除了与自由区域SF不同的遮挡区域，并将新的遮挡添加到遮挡区域SC中。可用区域也可以类似地更新。

4.5数据调度

数据调度将消费者的遮挡区域分配给能够提供传感器数据的不同生产者，这决定了数据共享的效率。我们将其制定为一个优化问题，目标是最大限度地提高数据融合的整体数据质量。质量度量由消费者定制，因为不同的下游任务可能从不同的角度评估数据质量。

我们建议通过一个轻量级的贪婪搜索算法来解决优化问题。如算法1中所定义的，数据调度依赖于来自消费者和可用生产者两者的占用图。在算法执行之前，所有占用地图需要（1）使用占用流量预测（§4.4）与下一个LiDAR周期的时间戳同步，以及（2）使用透视(perspective)变换（§4.2）转换为相同的坐标系(coordination system)。

调度算法由消费者执行，包括以下步骤：（1）对于生产者占用图中的每个占用区域，我们计算可定制的优先级分数，并按优先级分数的降序对所有生产者的占用区域进行排序。(2)我们对生产者的占用面积从高分到低分逐一进行处理。对于每个占用区域，我们计算其与消费者的遮挡区域的交集。如果有一个空的交叉点，这个被占用的区域将被丢弃;然后我们将所有非空的交叉点区域分配给生产者。(3)为了防止共享来自多个生产者的重复数据，我们从消费者的遮挡区域列表中删除指定区域。我们在所有生产者占用的区域上重复步骤（2）和（3），直到数据分配过程完成。请注意，生产者不共享地面点，这些地面点尺寸很大，但对感知的贡献很小。

我们将优先级分数定义为生产者的LiDAR与占用区域之间的距离。更短的距离导致更高的LiDAR点密度，为下游任务带来更丰富的功能。注意，分数定义可针对各种目的进行定制（例如，生产商声誉）。

5、实施

我们构建了 RAO 的原型以进行评估。
仿真。我们实现了一个异步模拟器Python 中具有 1037 行代码 （LOC） 的多车辆协同感知。该仿真器接受预先录制的多辆车的传感器轨迹作为输入，包括 LiDAR 点云和 LiDAR 传感器在连续帧上的 3D 姿态。请注意，仿真器是一个事件驱动的系统，可在多个车辆实例上异步执行数据处理和数据传输。数据处理的延迟是通过执行我们的算法实现直接测量的，而传输延迟是使用记录的网络跟踪来测量的。

算法。我们实现了 RAO 的核心算法，包括占用地图生成、占用流预测和数据调度，Python 中有 870 个 LOC，C++ 中有 5,053 个 LOC。C++ 程序是经过优化的算法实现，可最大程度地减少计算开销。Python 实现充当桥接模拟器和 C++ 程序的接口。对于地面检测，我们使用RANSAC [21]。对于对象跟踪，我们使用参数 w1 = 1 和 w2 = 0.01 作为亲和力分数，并使用 ICP [25] 进行点云配准。数据调度采用基于距离的优先级分数，如§4.5所述。

6、评估

我们对 RAO 进行了广泛的评估，以展示其在真实交通场景下的性能（包括使用真实世界的数据集）。我们回答以下问题，以证明 RAO 如何满足 §3.3 中列出的设计目标：（1） 与最先进的作品相比，RAO 能为异步传感器数据的下游感知任务带来多大的性能改进？（2）RAO的感知共享实现的遮挡覆盖率是多少？（3） RAO的速度是否足够快，可以支持实时操作？

我们首先介绍我们的实验设置（§6.1）。然后我们检查了一套大规模多车辆数据集（包括仿真和经验轨迹）的端到端性能（§6.2），以分析RAO（§6.3），然后进行系统开销分析（§6.5）和消融研究（§6.4）。最后，我们在真实世界的设置中进行了案例研究，以展示RAO相对于现有技术的优势。

6.1实验设置数据集。

我们使用三个数据集评估RAO：（1）真实世界的车辆基础设施数据集DAIR-V2X-C[66]，（2）基于模拟的多车辆数据集CARLA-SUMO，以及（3）在Mcity收集的真实世界的V2V数据集[8]。

DAIR-V2X-C是一个由40k个异步帧组成的大型数据集。数据由部署在北京28个路口的车载激光雷达和基础设施激光雷达捕获。我们通过选择车辆和基础设施数据的连续帧来进一步处理它，每个场景的跨度超过10秒（即100帧）。
•CARLA-SUMO是一个异步多车辆数据集，我们使用OpenCDA[4]收集该数据集，该数据集基于CARLA自动驾驶模拟器[7]和SUMO交通模拟器[5]的联合仿真。该数据集以各种道路场景为特征，包括直行道路、双向单车道和双车道的互动以及T形交叉口。我们将车速设置为50 kph，这与城市道路的平均限速一致[9]。在每个场景中，它包含2-5个CAV和10-50个非CAV，总共6880个帧。
•Mcity是一个模拟城市，用于在现实世界中测试CAV应用程序，我们部署了3辆林肯MKZ车辆（CAV），配备了OxTS RT3000v3 GPS、Velodyne VLP32C激光雷达和Cohda MK6C OBU作为C-V2X接收器。我们创建了8个具有挑战性的驾驶场景，涉及被遮挡或远处的物体。对于每个场景，我们从所有CAV收集激光雷达、GPS和C-V2X轨迹，持续15秒。

感知模型。我们采用Pointpillar[33]作为感知相关任务的骨干对象检测神经网络。对于DAIR-V2X-C和CARLA-SUMO，我们分别使用由DAIR-V20[66]和OpenCOOD[63]提供的预训练模型。对于Mcity数据，我们对OpenCOOD模型进行了10个时期的微调，以使其适应Mcity传感器。
基线。我们使用局部传感器（仅限局部传感器）和两种最先进的早期融合协同感知解决方案，针对传统的单车感知评估RAO：（1）EMP[69]，一种基于V2I的协同感知系统，CAV选择性地将激光雷达数据上传到执行感知算法的边缘节点。基于Voronoi图算法，每个CAV近距离共享激光雷达数据。（2） AutoCast[51]，一种基于V2V的方法，可优化确定共享数据区域并安排数据交换。第3节讨论了其数据共享协议。

高保真度仿真。我们将传感器数据输入RAO原型（§5），并使用真实的蜂窝网络轨迹模拟网络条件[45]。具体地说，这些痕迹是在城市道路上行驶时从LTE上行链路收集的。记录道的带宽统计为15.67±10.38Mbps。我们在配备32核Intel Xeon CPU和Nvidia 2080Ti GPU的Linux机器上进行了实验。

6.2端到端系统性能

使用模拟数据和经验收集的轨迹的组合，我们首先评估RAO的端到端的系统性能，以展示RAObe如何在数据共享后完成下游感知任务。

感知准确性。我们对RAO和基线方案产生的合并数据进行3D对象检测（即感知）。我们用交并比（IoU）阈值计算平均精度（AP）[6]，以评估感知的准确性。IoU测量预测边界框和地面实况边界框之间的重叠。IoU值越高表示对象检测越准确。AP度量将IoU高于阈值的预测边界框计数为真阳性。我们采用了IoU阈值0.5和0.7，这两个阈值通常用于评估CAV感知。表1总结了每个方案支持的总体平均精度。

不同多车辆协作方案和数据集下的目标检测准确性。
如表1所示，与其他方案相比，RAO能够在所有三个数据集上实现感知准确性的显著提高。总体而言，RAO将IoU的AP提高到0.5以上(ap@0.5)与Localonly相比减少了4%-30%，与EMP相比减少了5%-19%，与AutoCast相比增加了4%-14%。在这三个数据集中，CARLA-SUMO展示了RAO带来的最佳改进。创建CARLA-SUMO的目标是在更多样化的驾驶场景中，用更多的CAV和非CAV在道路上补充DAIR-V2X-C的两种激光雷达设置（§6.1），这是大规模部署协作感知的现实设置。它明确地暴露了同步和盲点检测的挑战。我们主要关注CARLA-SUMO，以便稍后在§6.3、§6.4和§6.5中进行分析。

为了更好地了解在 RAO 中物体检测的准确程度，**我们在图 7 中进一步绘制了 IoU 值的分布。**一般来说，RAO 中的 IoU 较高。相较于 AutoCast，RAO具有更准确的预测（例如，IoU 0.7-0.9）和更少的不准确预测（例如IoU 0.2-0.5）。这归因于以下事实：当不太同步的点云与自我车辆的数据融合时，很可能会导致物体的预测边界框偏离其地面实况位置。这样的偏移显著降低了对象检测的IoU以及AP。请注意，落在最左边框中的IoU值对于所有方案都等于零。这些是由超出范围的对象引起的。

数据共享的覆盖范围。RAO的数据调度有望更有效地覆盖盲点。为了量化数据共享的效率，我们使用了两个指标：对象的密度和对象的覆盖率。较高的点密度可能导致物体检测的置信度得分较高，从而提高真阳性率。另一方面，更高的对象覆盖率减少了未检测到的对象的数量，这意味着更低的假阴性率。为了获得这样的度量，我们使用地面实况标签将每个帧中的每个激光雷达点与特定对象相关联（非对象点没有关联的对象）。假设一组激光雷达图像𝑋由不同的车辆生成，并最终通过协同感知合并为一个单独的激光雷达图像𝑌，对于场景中的每个对象，我们可以计算出在𝑋和𝑌中相关的激光雷达点的数量分别表示为𝑁𝑋和𝑁𝑌。我们定义指标如下，其中𝑀是对象的总数。

表2列出了上述指标的结果。与AutoCast相比，RAO的物体密度得分高出50% 以及高34%的对象覆盖率。密度和覆盖率也比基于边缘的EMP高29%和7%。
此外，图8总结了每个对象的点密度分布(𝑁(𝑖) 𝑌 /𝑁(𝑖) 𝑋 )。RAO中超过90%的对象的密度得分约为0.2-0.4，很少有对象拥有高密度的点。结果表明，RAO将共享的激光雷达点分布在更多的物体上，而不是增强一些已经清晰可见的物体。RAO中的数据调度以高效的方式成功地覆盖了场景中的大多数对象。

示例。接下来，我们将展示可视化示例，以说明RAO如何解决异步传感器数据（§3.1）和不完全遮挡估计（§3.2）的问题。如图9所示，在没有同步的基线方案中，来自其他CAV的共享点（蓝色）将脱离对象的地面实况边界框（绿色），导致预测不准确（红色）。相反，由于基于预测的同步，来自不同CAV的激光雷达点在RAO中很好地对准。**图10展示了RAO中更高的盲点覆盖率。**蓝色点表示生产者与自我载体（消费者）共享的对象点。利用消费者的知识，可以准确识别细粒度的遮挡区域。

图9：各种方案中LiDAR数据的同步。
图10：RAO和AutoCast中盲点的覆盖范围。物体的背面被遗漏

6.3影响因素

我们分析以下影响因素，以了解RAO在各种驾驶场景中的表现。
距离ego CAV。**图11显示了根据物体到自我车辆的距离正确检测到的物体数量（IoU>0.5）。**如图所示，最大的感知优势来自中距离（20-40米和40-80米范围），其中通过协作检测到的对象，RAO的性能优于AutoCast和EMP 分别增加了7.04%至24.03%（0.62–1.40）和3.45%至18.62%（0.30–1.14）。

图11：根据距离检测到的对象数量。
图12：感知性能w.r.t.CAV密度。

CAV的数量。**从图12可以看出，随着参与协同感知的CAV数量的增加，RAO的 感知精度 “增益” 也越来越大。**这是因为，随着更多的车辆协作，同步的影响越来越大，因为更多的车辆彼此不同步。例如，当有4-5个CAV时，RAO在感知精度上分别比AutoCast和EMP提高了6.95%和7.63%。这比2-3个CAV协作场景多了2倍。更多的CAV也会增加系统开销，但RAO是可扩展的，如§6.5所分析的。

交通密度。接下来，我们考虑整体交通密度。我们根据每帧中所有车辆的数量将场景分为三个密度级别。在图13中，RAO的性能在所有交通密度设置中保持最佳，改善了4.20%至9.66%。
车辆运动。CAV运动影响占用流预测的准确性（§4.4）。我们根据感知目标的速度和加速度对其进行分组，并使用预测占用区域和地面实况之间的IoU来评估每组的预测准确性。**如图14所示，预测精度随着速度和加速度的增加而逐渐下降，**但在最坏的情况下仍达到平均0.4 IoU（0.5 IoU在感知方面被认为非常准确[6]）。

图13：感知性能w.r.t.交通密度。
图14：预测精度w.r.t.车辆运动。
**图15进一步说明了 车辆运动 对端到端感知准确性的影响。**尽管存在轻微的预测不准确性，但RAO在所有情况下都始终优于AutoCast和EMP 3.65%至13.60%。

图15：感知性能w.r.t.车辆运动。

6.4消融研究

我们进行了一项消融研究，以展示两种新颖的设计，即占用流预测和按需数据共享（§4.1），如何提高协作感知的性能。
占用流预测的好处。我们创建了RAO的两种变体：（1）一种禁用预测算法，这意味着提供者的激光雷达图像和消费者的数据不同步；（2） 另一种实现了地面实况同步，根据地面实况标签直接移动目标点，并在数据融合中完美同步所有激光雷达图像。**图16展示了我们提出的RAO和两个修改版本之间的差异。**采用地面实况预测的平均精度仅比RAO高1.97%。这表明RAO的同步模块实现了接近最优的性能。当禁用预测时，感知的准确性显著下降13%，这也突显了同步的重要性。

按需数据调度的好处。我们禁用RAO中的数据调度（即，生产者在地面移除后直接共享激光雷达图像），并将RAO与降级版本进行比较。如图17所示，在所有三种交通场景中，在遮挡区域选择性共享数据将共享的数据量减少了68.45%以上（高达95.8%）。在如此有限的数据共享量下，RAO可以实现高感知精度（表1），验证了RAO对感知关键区域的准确识别。

图17：按需以消费者为中心的数据调度的消融研究。

6.5系统开销

RAO的延迟由数据处理、网络传输和感知的延迟组成，如§3.1所述。图19提供了不同延迟类型的细分。

数据处理包括占用图生成和数据调度。占用图生成（聚类、运动估计等）是RAO中计算密集度最高的，平均耗时36.3ms。数据调度是轻量级的，可以在7.0毫秒内完成。网络传输延迟取决于共享数据的大小。**数据大小的比较如表3所示。**对于提供者和消费者的每个连接对，在每个帧中，RAO共享一个包含3110个点的LiDAR图像和一个平均具有211个多边形顶点的占用图。加上LiDAR传感器姿态和运动信息等微小元数据，共享数据的总大小约为10.9KB。其大小与AutoCast的数据（9.17 KB）相似，仅为EMP的44%（>24 KB）。请注意，为了进行公平的比较，我们删除了EMP和AutoCast中的背景点（§4.3）。感知延迟包括数据融合和模型推理。数据融合模块简单地连接点云，这引入了8.5ms的小延迟。模型推理时间取决于特定的感知模型，在我们的实现中为34.5ms。

表3：每帧每个提供者-消费者对的数据共享开销（平均值±标准偏差）。
对于每个LiDAR图像。计算延迟和网络传输延迟之和（如公式 1 中的 2）为80.8 ms，表明激光雷达图像之间的异步约为80–180 ms。由于占用流预测，异步问题得到了有效解决。与单车感知相比，RAO引入的唯一延迟是数据融合延迟（8.5ms），因为每个消费者在生成其本地激光雷达图像后立即开始感知，其他数据处理和网络传输任务在后台同时运行。
RAO是可扩展的，在大量参与的CAV下运行良好。总体带宽开销随着连接的CAV的数量线性增长（图18）。基于C-V2X的车载通信可以提供高达100Mbps的带宽[22，43]，远远超过我们系统的带宽。占用图生成的开销与CAV的数量无关，因为每个CAV都在本地处理自己的激光雷达图像。

图18：网络带宽要求和可扩展性研究。

6.6案例研究：RAO在现实世界中的优势

除了在大规模数据集上的实验外，我们还使用Mcity收集的数据进行了另一个实证案例研究，以证明RAO在真实世界中的卓越性能。如图20所示，ego CAV正在红灯处右转，并且应当向来自左侧的车辆（目标）让行。然而，ego CAV对目标的视野被障碍物阻挡，因此有必要依靠其他两个CAV来定位目标。

我们执行RAO、EMP和AutoCast，发现（1）EMP不知道遮挡，其数据调度完全取决于距离。由于目标区域的激光雷达数据应该由离它最近的CAV在特定位置（轨迹的红色部分）共享，因此其他CAV将不会共享目标的数据，即使目标位于 ego vehicle的盲点中，也会导致检测失败。（2） AutoCast可以识别盲点并要求红色CAV共享激光雷达数据，但它存在严重的同步问题（§3.1），这使得目标检测在某些帧中不稳定。（3） 相反，RAO同时解决了盲点检测和同步问题，产生了对齐良好的增强点云。
在目标处于盲点的25个检查帧（2.5秒）中，RAO一致地识别目标，而EMP和AutoCast分别在12帧和5帧中失败。值得注意的是，由于异步数据，AutoCast中检测到的对象与实际情况的偏差相对较高。在这种情况下，RAO的强大感知为 ego CAV赢得了更多的时间来对传入的流量做出反应。

7、相关工作

RAO涉及以下领域的先前工作：
合作车辆传感。在协作式车辆传感方面已经做出了各种努力。大多数现有的数据共享系统可分为基于车对车（V2V）的方案[15-17，32，40，50，51，63]和基于车对基础结构（V2I）的方案[31，41，69]。例如，EMP[69]、Carcel[31]和LiveMap[41]是使用云或边缘节点聚合车辆数据的V2I示例。此外，VI-Eye[26]提出了一种点云匹配方法，用于将车辆数据与基础设施数据合并。CRCNet[42]从神经网络的角度探讨了减少数据共享冗余的方法。多车辆感知数据集[38，63，66]的发布极大地促进了多车辆协作的研究。
合并中间结果。一些工作如[15，58]主张合并传感器数据生成的中间结果，以放宽带宽要求。不可避免的是，不同的车辆可能采用不同的感知架构，因此它们的中间数据可能不兼容。徐等人[61]和乔等人[49]开发了容忍特征结构之间差异的框架。然而，共享原始数据更具普遍性，因为不需要先验知识来使用传感器数据的通用格式。用于特征合并的领域自适应不能直接应用于看不见的结构，需要重新训练。
车辆数据同步。在真实的驾驶场景中，很难保证车辆以相同的速度生成传感器数据。有一些工作解决了协作数据共享中的同步问题。V2VNet[58]提出了一种联合感知和预测框架，以补偿异步输入的延迟。SyncNet[35]使用延迟补偿模块使车辆的异步感知特征适应相同的时间戳。VIPS[54]利用图形匹配在场景中对齐检测到的对象。然而，当我们专注于通过跟踪占用图中的聚类来同步原始传感器数据时，他们考虑了特征或对象级别的融合。

8、结语

在这项工作中，我们设计、实现和评估了RAO，这是一个在异步传感器上运行的实时遮挡感知多车辆协作系统。通过运动感知占用图、占用流预测和数据调度的复杂集成，RAO智能共享传感器数据，以最大限度地减少网络带宽消耗，填补其他车辆的盲点，并通过预测准确对齐在真实世界异步传感器设置下收集的数据。我们相信，我们解决传感器共享中同步问题的方法可以刺激基于多车协作的自动驾驶应用的新浪潮，并最终加速其在现实世界中的部署。