【论文笔记】V2X Cooperative Perception for Autonomous Driving: Recent Advances and Challenges

协同感知Collaborative Perception定义

CP can be viewed as a mechanism designed to tackle the challenge of map merging, aligning perception data across multiple agents, and integrating it into a consistent reference frame.

III. V2X 通信

这部分主要关注一些Edge Computing-enabled V2X Communications的工作。

在现代 CP 系统中，解决从车辆传感器和设备收集的广泛感知数据的计算和存储需求是必不可少的。云计算和数据中心已成为流行的解决方案，利用 V2X 通信互连车辆设备和服务器进行数据共享。然而，这些解决方案可能会引入显着的通信开销，并为实时 CP 任务提供有限的计算灵活性。更有效的替代方法是边缘计算，它在网络边缘放置数据和计算服务，靠近车辆设备，促进CP操作的快速响应。

B. Blockchain-enabled V2X Communications

这部分主要讲的是用区块链技术提升CP的trustworthy

C. Digital Twin-enabled V2X Communications

基于数字孪生DT的多车协同平台，参考这篇《Multi-vehicle experiment platform: A Digital Twin Realization Method》

IV. MODERN GENERIC FRAMEWORK OF COOPERATIVEPERCEPTION

A. 协同感知CP的framework

这幅图清晰地描述了CP的全过程，我主要关注Preparation for Transmission部分，这也是我博士的核心研究内容。
个人认为，重点就在冗余去除部分：

Neighbouring vehicles might redundantly transmit information about the same objects, causing inefficient utilization of communication channels [168]. This excessive network load elevates the risk of important data packets experiencing delays or being lost, potentially compromising CP performance and safety.

B. Preparation for Transmission

核心在于减少Communication congestion，需要考虑3部分：

• Cooperative agent selection: This category focuses on minimizing
  communication costs by transmitting perception information over a
  partially connected agent graph, thus reducing redundancy;

• Perception information selection: This category addresses the
  maximization of informativeness, where cooperative agents select a
  subset of perceptive data crucial to the ego-vehicle, optimizing the
  data shared;

• Agent & information selection: This category encompasses a joint
  consideration of both cooperative agent selection and perception
  information selection, aiming to balance communication efficiency and
  data importance.

以上三个研究点，可以概括为“谁来传输？”“传输什么？”。不过已经有很多相关文章了，起名When2Com，Where2comm等等。

1) Cooperative Agent Selection

选择正确的合作者至关重要，因为不适当的agent可能会导致中断和干扰，这可能会影响整体性能。近年来，考虑到感知改进和沟通质量，创建了通信策略来帮助选择有益的合作agent进行合作。

两个机制值得我注意：

1. score评分机制：《Collaborative 3D Object Detection for Automatic Vehicle Systems via Learnable Communications》该方案利用了一个通用的注意力机制，其中每个基础设施根据协作系统中的本地和接收信息计算匹配分数。随后，他们将这个分数与 CPMS 一起广播给协作车辆。在从连接的基础设施接收数据包后，自我车辆采用注意力机制来选择相邻的基础设施进行合作。虽然这种方法通过选择V2I通信中的一个代理来保存传输带宽，但它并没有最优地利用全局信息。
2. Multiagent Path Finding (MAPF) problem：通过对感知物体数量重合数来计算信息增益（Information gain）来选择通信scope，参考CMU文章《Selective Communication for Cooperative Perception in End-to-End
   Autonomous Driving》
3. The significance of temporal dependencies in collaborator selection: 参考这篇文章《Select2Col: Leveraging Spatial-Temporal Importance of Semantic Information for Efficient Collaborative Perception》，也[开源了代码](https://github.com/huangqzj/select2col)。这篇文章的思路和我之前投稿的一篇Trans有些接近，但我不是用GNN实现的。想起来V2VNet也是基于GNN的设计。

本文利用图神经网络 (GNN) 来捕获自我车辆与其相邻代理之间的内在相关性。每个代理表示为一个节点，包含稀疏特征图和延迟信息。GNN 为每个代理相对于自我车辆分配权重值。权重为零或更低的代理被认为不适合协作。这种细化的权重有效地消除了导致噪声不合适的合作者，从而提高了感知性能。

（未完待续）