最新综述：自动驾驶的协同感知技术

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心技术交流群

后台回复【数据集下载】获取计算机视觉近30种数据集！

arXiv综述论文“Collaborative Perception for Autonomous Driving: Current Status and Future Trend“，2022年8月23日，上海交大。

感知是自主驾驶系统的关键模块之一，然而单车的有限能力造成感知性能提高的瓶颈。为了突破单个感知的限制，提出协同感知，使车辆能够共享信息，感知视线之外和视野以外的环境。本文回顾了很有前途的协同感知技术相关工作，包括基本概念、协同模式以及关键要素和应用。最后，讨论该研究领域的开放挑战和问题，并给出进一步方向。

---

如图所示，单个感知的两个重要问题是，远距离遮挡和稀疏数据。这些问题的解决方案是，同一区域内的车辆彼此共享共同感知信息（CPM，collective perception message），协同感知环境，称为协同感知或协作感知。

得益于通信基础设施的建设和V2X等通信技术的发展，车辆可以以可靠的方式交换信息，从而实现协作。最近的工作表明，车辆之间的协同感知可以提高环境感知的准确性以及交通系统的鲁棒性和安全性。

此外，自动驾驶车辆通常配备高保真传感器以实现可靠的感知，造成昂贵的成本。协同感知可以缓解单个车辆对感知设备的苛刻要求。

协同感知与附近的车辆和基础设施共享信息，使自主车辆能够克服某些感知限制，如遮挡和短视野。然而，实现实时和鲁棒的协同感知需要解决通信容量和噪声带来的一些挑战。最近，有一些工作研究了协同感知的策略，包括什么是协同、何时协同、如何协同、共享信息的对齐等。

类似于融合，协同的分类也有4类：

1 早期协同

早期协同在输入空间中进行协同，在车辆和基础设施之间共享原始感官数据。它汇总了所有车辆和基础设施的原始测量值，得到一个整体观点。因此，每个车辆都可以进行以下处理，并基于整体视角完成感知，这可以从根本上解决单体感知中出现的遮挡和远距离问题。

然而，共享原始感官数据需要大量通信，并且容易使通信网络因数据负载过大而拥塞，这在大多数情况下阻碍了其实际应用。

2. 后期协同

后期协同在输出空间中进行协同，这促进了每个智体输出的感知结果融合，实现细化。

虽然后期协同具有带宽经济性，但它对智体的定位误差非常敏感，并且由于不完全的局部观测而遭受高估计误差和噪声。

3 中间协同

中间协同在中间特征空间中进行协同。它能够传输单独智体预测模型生成的中间特征。融合这些特征后，每个智体对融合的特征进行解码并产生感知结果。从概念上讲，可以将代表性信息压缩到这些特征中，与早期协同相比，可以节省通信带宽，与后期协同相比，还可以提高感知能力。

在实践中，这种协同策略的设计在算法上具有两个方面的挑战性：i）如何从原始测量中选择最有效和紧凑的特征进行传输；以及ii）如何最大限度地融合其他智体的特征以增强每个智体的感知能力。

4 混合协同

如上所述，每种协同模式都有其优缺点。因此，一些工作采用了混合协同，将两种或多种协同模式结合起来，以优化协同策略。

---

协同感知的主要因素包括：

1 协同图

图是协同感知建模的有力工具，因为它建模非欧数据结构有良好的可解释性。在一些工作中，参与协同感知的车辆组成一个完整的协同图，其中每个车辆是一个节点，两个车辆之间的协同关系是这两个节点之间的边。

2 姿态对齐

由于协同感知需要在不同位置和不同时间融合来自车辆和基础设施的数据，因此实现精确的数据对齐对于成功协同至关重要。

3 信息融合

信息融合是多智体系统的核心组成部分，其目标是以有效的方式融合来自其他智体的信息量最大的部分。

4 基于强化学习的资源分配

现实环境中有限的通信带宽要求充分利用可用的通信资源，这使得资源分配和频谱共享非常重要。在车辆通信环境中，快速变化的信道条件和日益增长的服务需求使得分配问题的优化非常复杂，难以使用传统的优化方法来解决。一些工作利用多智体强化学习（MARL）来解决优化问题。

---

协同感知的应用：

1 3D 目标检测

基于激光雷达点云的3D目标检测是协同感知研究中最受关注的问题。原因如下：i）激光雷达点云比图像和视频具有更多的空间维度。ii）激光雷达点云可以在一定程度上保留个人信息，如人脸和车牌号。iii）点云数据是用于融合的适当数据类型，因为当点云数据从不同的姿态对齐时，其损失比像素少。iv）3D目标检测是自主驾驶感知的一项基本任务，跟踪和运动预测等许多任务都基于此。

2 语义分割

3D场景的语义分割也是自动驾驶所需的关键任务。3D场景目标的协同语义分割，给定来自多个智体的3D场景观察（图像、激光雷达点云等），为每个智体生成语义分割掩码。‍

---

挑战性问题：

1 通信鲁棒性

有效的协统依赖于智体之间的可靠通信。然而，通信在实践中并不完美：i）随着网络中车辆数量的增加，每辆车的可用通信带宽有限；ii）由于不可避免的通信延迟，车辆难以从其他车辆接收实时信息；iii）通信有时可能中断，导致通信中断；iv）V2X通信遭受攻击，无法始终提供可靠服务。尽管通信技术不断发展，通信服务质量不断提高，但上述问题仍将长期存在。然而，大多数现有的工作都假设信息可以以实时和无损的方式共享，因此考虑这些通信约束并设计鲁棒的协同感知系统对于进一步的工作具有重要意义。

2 异质性和跨模态

大多数协统感知工作关注基于激光雷达点云的感知。然而，有更多类型的数据可用于感知，如图像和毫米波雷达点云。这是一种利用多模态传感器数据进行更有效协作的潜在方法。此外，在某些场景中，有不同级别的自动车辆提供不同质量的信息。因此，如何在异构车辆网络中进行协同是协同感知进一步实际应用的问题。不幸的是，很少有工作关注异构和跨模态的协作感知，这个也成为一个开放的挑战。

3 大规模数据集

大规模数据集和深度学习方法的发展提高了感知性能。然而，协同感知研究领域的现有数据集要么规模小，要么不公开。

缺乏公共大规模数据集阻碍了协同感知的进一步发展。此外，大多数数据集基于模拟。虽然仿真是验证算法的经济和安全的方法，但真实的数据集也是需要的，可将协同感知应用于实践。

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D感知、多传感器融合、SLAM、高精地图、规划控制、AI模型部署落地等方向；

加入我们：自动驾驶之心技术交流群汇总！

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D感知、多传感器融合、目标跟踪）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！