20230316文献阅读——《车联网环境下自动驾驶的协同感知技术综述》

• 论文标题：
  Cooperative Perception Technology of Autonomous Driving in the Internet of Vehicles Environment: A Review
• 发表期刊/会议：
  Sensors 2022
• 下载地址：
  https://www.mdpi.com/1424-8220/22/15/5535

---

个人理解

本篇文章从现有的无人车感知过程中存在的问题出发，引出协同感知。文章主要是介绍了现有的协同感知信息融合方法和协同感知信息共享策略，梳理了不稳定通信条件下数据传输过程中协同感知信息的研究方法。结合已有的研究成果，对未来可以研究的方向进行了梳理和展望。

文章翻译与精读

一 引言

• 现有的无人车感知有什么问题？

1.环境感知信息不足。虽然自动驾驶汽车的感知模块配备了众多的车载传感器，如LiDAR、相机、毫米波雷达等，但受传感器特性、障碍物遮挡、光照、恶劣天气等多种因素的影响，车辆感知范围有限，导致视野出现盲点，难以为自动驾驶提供全方位的感知信息，从而导致自动驾驶车辆无法及时发现即将发生的危险。
2.车载计算系统难以实时处理大量多源异构传感器数据。各种传感器数据类型没有统一的格式，融合处理比较复杂。目前处理大量数据的方法，通常配备高性能计算机进行自动驾驶，将大大增加自动驾驶车辆的成本。此外，多源和异构传感器数据格式的多样性也将增加数据处理的难度。

• 用协同感知有什么好处？

1.构建车联网环境下的自动驾驶协同感知系统，提高感知精度，提高感知范围，减少延迟。这将为自动驾驶汽车提供更准确、更丰富的实时环境信息，为实现3级以上自动驾驶奠定基础[10,11]。
2.车联网环境下的协同感知可以减少车载传感器数量，降低自动驾驶汽车的成本，加速高水平自动驾驶的商业化。

二 协同感知信息融合

车辆对车辆(Vehicle-to-vehicle, V2V)和车辆对基础设施(vehicle-to-infrastructure, V2I)的协同感知是两种主要的实现方式，虽然感知效果也受到天气、障碍物遮挡、计算能力等多种因素的影响。同时，大量多源、异构的传感器数据对通信性能提出了更高的要求。

在整个车联网协同感知系统中，主要包括协同感知数据的融合、处理和共享。其中，多传感器信息融合方法、信息共享策略和通信技术是实现车联网环境下自动驾驶协同感知的关键。
多传感器信息融合是实现协同感知的前提。与单车信息融合相比，车联网环境下的协同感知多传感器融合具有更丰富的信息源、更宽的视角、更强的适应性，能够实现更高的感知精度和距离[5,12]。机器学习作为目标检测的主流技术，通过训练模型预测和提高目标的可感知性，利用车路协调装置实现目标感知信息的选择性传输[9,13]。然而，现有的关于协同感知信息融合方法的研究仍处于快速发展阶段，在实际环境测试应用和目标检测研究中仍存在不足。
无线通信网络在车联网环境下的协同感知中起着桥梁作用，是信息共享的重要保证。沟通的质量将直接影响合作感知的效果。
此外，协同感知信息共享策略对于保证感知的准确性和及时性也至关重要。通常采用只广播无人车无法感知的目标信息的策略，以减少通信负荷，避免感知信息冗余，更好地优化车联网环境下无人驾驶协同感知的感知-融合-通信平衡点。感知准确度和端到端延迟是评价合作感知技术的两个重要指标。一些研究人员通过对比单一智能车辆和云计算的感知效果和传输延迟，得出部署多接入边缘计算(MEC)基础设施可以提高协作感知的有效性，并大大降低端到端通信延迟[14,15]。

2.1 图像融合

该部分主要是介绍图像融合的背景与相关技术进展。
图像融合相对成熟，其中涉及到的关键技术可以分成两个部分：数据压缩和图像融合策略。
此外，已有学者针对视场感知和距离感知的局限性和盲点，对现有的图像融合策略进行了研究。Xiao等人[24]利用深度学习的方法从视觉系统中提取关键信息，融合车辆网络中其他车辆感知信息生成的鸟瞰图，扩大了主车的感知范围。这种方法加深了自动驾驶汽车了解环境的能力。Sridhar等[25]采用协同相对定位和地图融合[26]，通过与宿主车共享相邻车辆的图像感知信息，实现具有共同视场的车辆的协同感知。Liu等人[27]采用V2V通信技术，基于三维车间投影模型，选取特征点匹配估计几何变换参数，通过深度仿射变换实现车间图像信息融合。它有效地克服了交通拥堵时感知盲点的问题，但忽略了视角的影响，在某些情况下还会出现尺寸偏差。——这里的三个均为车车融合感知

2.2点云融合

作者认为点云融合相较于图像融合更有优势（我觉得这种说法有失偏颇）。主要对于数据级、特征级和决策级融合分别进行了介绍，重点关注丰富的点云数据和受限的网络带宽对协同感知效能的影响。
数据集融合中，Chen[29]证明现有的DSRC通信技术能够满足感兴趣区域点云融合的数据传输要求。Ye[30] 提出了多车激光雷达定位和传感器数据融合的状态估计框架。
特征级融合是目前研究最多、应用最广泛的融合方法。
决策级融合是指从每一个单独的传感器中提取被检测对象，并将检测结果进行融合。融合速度快，更适合数据共享，但目前对其研究较少。
总结，原始点云数据共享具有天然的优势，但数据传输量太大；而共享处理后的结果则必然存在数据处理后信息丢失的情况，所以（我认为这就是为什么大多数的研究都是集中在特征级融合）

2.3图像-点云融合

首先说明了多模态多传感器融合相较于单模态传感器具有优势，可以大大提高协同感知的有效性。
图像点云信息融合是当前IoV环境下自主驾驶协同感知的主流方法。常用的融合方法有基于卡尔曼滤波的数据融合估计方法;基于贝叶斯的分布式融合方法;而基于神经网络的方法。
在传感器信息融合过程中，传感器的时空对齐是信息融合的前提条件。空间对准考虑了不同来源的传感器数据中目标的坐标变换。而时间对齐主要是解决边缘节点采集到的感知信息与其他车辆接收到的感知信息之间的时间差问题。

2.4总结

本节在已有文献的基础上，从协同感知信息融合方法的角度总结了IoV环境下自主驾驶协同感知技术的研究现状，重点总结了图像融合、点云融合、像点云融合方法。通过对比，我们发现多模态和多视角视角下的图像点云融合是协同感知的最佳方法(如表3所示)。与单车多传感器融合相比，协同感知信息融合在感知范围、精度和可靠性方面具有更多的优势。对比不同阶段的信息融合，将处理后的数据进行融合和共享，不仅可以减少数据传输量，而且可以显著降低网络通信负荷。原始数据的融合和共享有利于协同感知，但会增加通信负担，对协同感知结果有一定的负面影响。在未来，直接有效的协同感知融合算法以及分布式传感器数据的交互融合将成为研究的趋势。同时，车路协作数据集的构建将是今后车路协作算法研究和评价的关键。

三 协同感知信息共享

协同感知信息共享是实现IoV环境下自动驾驶协同感知的重要保证。在这里主要有两个影响因素。
1自主车辆与边缘节点之间的信息交互是实现协同感知的基础。车辆与边缘节点之间的协同感知信息(CPMs)传输需要一定的带宽和严格的时延约束，这对网络性能提出了更高的要求。车辆的移动性和市场渗透率（就是指道路上有多少可以协同感知的智能车、路边上有多少可以协同感知相机雷达，这对于实现协同感知很重要）对协同感知有效性和网络通信质量有很大的负面影响。
2合理的协同感知信息共享策略也非常重要，它定义了车辆共享感知数据的频率和共享哪些感知数据。

3.1协同感知信息共享网络（也可理解为怎么收/发信息）

协同感知共享网络是提高智能互联车辆感知能力的关键。
目前主要是有两种无线通讯技术——DSRC和C-V2X。这两种通信方式共同支持车联网环境的多种应用需求。
DSRC具有高传输速率、低延迟、支持点对点和点对多点通信等优点。
以5G为代表的C-V2X通信具有覆盖范围广、可靠性高、数据容量大的优点。它适用于边缘服务器之间的车路协调和通信。
但二者的混合架构可能效果会更好。
无线通信技术的部署和应用测试已取得初步成果，但该技术现阶段也面临两个方面的问题：
1车辆的机动性。高速车辆带来的网络传输时延高、可靠性低。
2市场渗透率。当渗透率过低时，支持数据传输的通信链路可能因距离较远而不稳定，甚至难以匹配到合适的边缘节点。

3.2协同感知信息共享策略（可以理解为收/发什么信息）

合理的共享策略对于自主驾驶协同感知尤为重要，包括车辆共享感知数据的频率、共享哪些感知数据、共享数据的格式等。
协同感知信息共享策略，通过多种方式来确定：评估协同感知信息的重要性、感知信息的新鲜度、最大化ROI等，最终目的就是扩大感知范围，降低信息传输时间，实现对周围环境的实时态势感知。

3.3网络性能对协同感知的影响

网络性能不是协同感知的算法研究重点，但是确实硬件环节中最重要的部分。
协同感知的实现依赖于V2X通信与周围环境感知信息的交互，这将显著增加车辆之间交换的信息量。同时，在信息交换过程中容易出现通信质量不稳定、信道拥塞等问题，导致传输延迟高、丢包等一系列负面影响，降低了协同感知的有效性。事实上，实际驾驶环境中数据包的丢失和延迟是不可避免的，协同感知也常常以延迟和丢包率作为协同感知技术应用的评价指标。

3.4总结

综上所述，共享网络和信息共享策略是实现IoV环境下自主驾驶协同感知的关键要素。在网络通信方面，DSRC和C-V2X是实现IoV环境协同感知的关键通信方式。现阶段可采用DSRC与C-V2X的混合网络架构，支持车联网应用的多样化需求。随着通信技术的不断提高，需要高可靠性、低延迟和高吞吐量的先进车辆应用将得到更好的支持。对于协同感知信息共享策略，通过对标准协同感知信息规则的分析和改进，根据合作感知信息的重要性和相关性，进一步优化协同感知信息的生成和设计。此外，交通流量、市场渗透、通信距离等因素可能会造成协同感知信息传输时间长、数据包丢失、信道拥塞等一系列负面影响，降低协同感知的有效性。目前，协同感知的通信技术有效性和共享策略的评价指标还不完善。未来应充分考虑车辆移动性和市场渗透率对通信性能的影响，设计更合理的协同信息共享策略和更完善的评估体系。

四 讨论

loV环境下的自主驾驶协同感知技术，极大地解决了目前单辆自主汽车感知范围受限、盲点感知等问题。同时，通过新一代无线通信技术降低了传输时延，保证了自主驾驶从感知到决策的端到端及时性。然而，自主驾驶的特殊性和通信技术的成熟，仍然给协同感知带来很多问题。结合现有的协同感知技术和通信技术的研究和分析，本节进一步提出了V2X和自主驾驶协同感知的研究趋势和需要解决的问题。

4.1协同感知信息融合

这里就是两个方面的问题：
1到底用什么信息进行协同感知（图像？点云？图像点云？）
2共享什么信息（原始信息？处理后的信息？）
还提到了车路协同数据集的构建有利于协同感知算法的研究和发展。

4.2高效可靠的信息共享策略

原文提到“冗余信息的共享不仅会占用更多的通信资源，而且会增加自动驾驶车辆的计算任务”。“适当的冗余数据共享有助于提高感知的准确性，但过多的冗余信息显然是不利的”。
这里提到一个问题就是：“车辆对什么区域的信息感兴趣”，进一步明确了冗余的定义，那就是“我”只对感兴趣区域的目标感兴趣，不要发送“我”不需要的信息。问题是到底什么是我感兴趣的信息呢？

4.3车辆的运动性

目前，由车辆移动性引起的通信质量问题无法有效避免。可以概括为以下三个方面的问题：
1车辆的高速移动会导致通信节点快速移动，网络拓扑变化频繁，通信链路次数不稳定，导致通信链路频繁连接和断开。
2车辆的快速移动过程中周围环境不断发生变化，通信的质量和效率不稳定。
3车辆运动过程中存在离开通信范围等失联的情况，极大影响协同感知的效果。
由车辆移动性引起的任务失败、通信链路差、传输质量不稳定等问题仍应是未来研究的重点。

4.4安全

边缘节点的可移动性和网络拓扑的动态性对车辆网络的安全性和保密性提出了新的挑战。成熟的传统网络防御方案难以应用于车联网[119]。研究发现，应用区块链技术[120,121]可以有效解决分散条件下自动驾驶车辆与边缘节点合作的安全和隐私保护问题。

五 结论与展望

车联网环境下的协同感知技术对于解决自主车辆感知范围有限、计算资源不足的问题起到了至关重要的作用，并通过无线通信技术进一步保证了自主驾驶的实时性要求。介绍了现有的协同感知信息融合方法和协同感知信息共享策略，梳理了不稳定通信条件下数据传输过程中协同感知信息的研究方法。结合已有的研究成果，我们发现未来协同感知技术的研究应该集中在更复杂的融合算法设计、轻量级模型、5G通信技术支持的V2X应用等方面。此外，如何把握感知-通信-融合的平衡点，如何通过协同感知提高自主驾驶的感知性能，如何实现V2I与V2V之间的优化与平衡，仍然是一个严峻的挑战。