【论文解读】Complementarity-Enhanced and Redundancy-Minimized Collaboration Network for Multi-agent Percep

摘要

多智能体协同感知依赖于共享感官信息来提高感知准确性和鲁棒性，并扩展覆盖范围。代理之间的协作共享信息应该在冗余和互补性之间达到平衡，从而创建一个简洁而复合的表示。为此，本文提出了一种互补增强冗余最小化协作网络(CRCNet)，用于有效指导和监督共享特征之间的融合。我们的关键新奇之处在于两个方面。首先，通过利用对比损失迫使每个融合特征带来边际收益，这可以监督我们的模型选择互补特征。其次，利用互信息来衡量融合特征对与互信息上界之间的依赖关系，鼓励独立性，从而引导我们的模型选择非冗余特征。此外，上述模块被纳入特征融合网络CRCNet。我们在协作目标检测中的定量和定性实验表明，CRCNet 的性能优于现有方法。

引言

信息冗余增加了传输的信息量，消耗大量宝贵的通信资源。同时，由于额外的噪声，冗余可能对感知产生负面影响。此外，附加代理的边际收益具有子模块性属性，即添加更多观察代理可以获得递减的回报。因此，有必要在聚合来自其他代理的共享特征时减少冗余。减少冗余的最优解之一是在代理之间共享任何东西，但是互补性也被破坏。因此，协作感知需要在聚合来自其他代理的特征时最小化信息冗余，同时增强互补性。
为了实现冗余最小化和互补最大化之间的平衡，我们引入了一种互补增强和冗余最小化的协作网络（CRCNet）。CRCNet结合了渠道和空间关注，贪婪地融合来自其他代理的特征，旨在选择最互补和最不冗余的特征。具体来说，融合特征由两个标准来指导和监督。

• 第一个标准声称每个融合特征的边际性能增益，即，具有附加融合特征的检测性能可能比没有融合的检测性能更好。
• 另一个标准要求两个融合特征之间的独立性，即应用互信息来捕捉非线性统计独立性，并最小化互信息上界以消除融合特征对之间的信息冗余。

所提出的标准可以通过最大限度地减少冗余，同时最大限度地提高协作感知的互补性，来促进对最具代表性特征的选择，从而提高检测性能。
主要贡献：

• 通过要求每个融合特征的边际性能增益来实现互补性最大化策略。具体来说，我们利用压缩学习来形式化边际增益，以学习具有最大互补性的自监督表示。
• 一种通过最小化融合特征对之间的相互信息来最小化冗余的策略。具体而言，相互信息的上限被最小化，以鼓励融合特征对之间的独立性。
• 我们提出了基于渠道和空间的关注，以贪婪地融合特征。同时，这两种策略被应用于指导和监督最合适特征的选择。
• 与现有技术相比，我们证明了我们提出的方法的有效性和优越性

方法

Intermediate Features Collaborative Sharing Protocols

每个代理提取中间特征后𝑭𝑖 从点云的角度来看，应该应用适当的协议来指导中间特征的协作共享。该协议由压缩、转换、传输、选择和融合五个阶段组成，如图2所示，介绍如下：

• （1）压缩：由于信道尺寸的急剧增加，中间特征的大小对于无线传输来说仍然太大。为了节省通信带宽，每个代理可以在传输之前沿着信道维度压缩特征图。在这里，我们考虑卷积自动编码器来压缩/解压缩特征图，它与整个系统一起训练。因此𝑭𝑖 ∈ R𝑊 ×𝐻 ×𝐶 被压缩为𝑭𝑐 𝑖 ∈ R𝑊 ×𝐻 ×𝐶 .
• （2） 变换：agent生成的点云基于不同的坐标系，即每个agent以自身为原点观察环境。基于车辆的GPS位置，可以将特征转换到同一坐标系中。压缩的功能𝑭𝑐 𝑖 转化为𝑭𝑇 𝑖 尺寸相同。
• （3） 传输：每个代理𝑖 传输转换后的特征𝑭𝑇 𝑖 这是带宽高效的。
• （4） 选择：代理生成的中间特征𝑗 传输到代理𝑖 表示为𝑷𝑗→𝑖 . 然后，所有邻居的特征{𝑷1.→𝑖 , 𝑷2.→𝑖 , · · · , 𝑷𝑚→𝑖 } 共同选择，以增强互补性，同时最大限度地减少冗余，如图3所示。
• （5） 融合：每个代理融合邻居的特征，以创建简洁的复合表示。
  
  

Feature Selection and Fusion: Channel-wise and Spatial-wise Attention

代理人𝑖 必须融合来自其他代理M−{𝑖}. 为了准确地选择最具代表性的特征，即在保持互补性的同时最小化冗余，本文采用了序列贪婪融合机制。它以顺序的方式融合成对的特征。例如，agent𝑖 首先融合agent的特性𝑘 ∈ M−{𝑖}, 通过选择最互补而又简洁的功能。然后，基于融合的特征，agent𝑖 融合下一个代理的功能𝑙 ∈ M−{𝑘, 𝑖} 以类似的方式。
考虑带有特征的代理(𝑷i)和带有特征的代理(𝑘)之间的融合(𝑷𝑘→𝑗) , 两个特征的尺寸相同𝑊 ×𝐻 ×𝐶. 我们采用Channel-wise attention来计算权重𝑾𝑐 𝑘→𝑖 ∈ R1×1×𝐶 以在通道维度上融合这两个特征。通道式自注意网络由几层卷积网络组成，大小为𝑊 ×𝐻 .在通道式注意力的基础上，进一步采用spatial-wise attention来学习空间权重𝑾𝑠 𝑘→𝑖 ∈ R𝑊 ×𝐻 ×1，能够在空间维度上融合这两个特征。其中的每个元素𝑾𝑠 𝑘→𝑖 对应于BEV图中指示特定空间区域的单元。因此𝑾𝑠 𝑘→𝑖 以单元级分辨率反映空间注意力。

【Channel-wise attention】Channel-wise attention（通道注意力）是深度学习中一种注意力机制的形式，通常用于处理多通道的输入数据，例如图像或视频。这种注意力机制的目标是在不同通道之间分配不同的权重，以便网络可以更关注一些通道的信息而忽略其他通道。
【Spatial-wise attention】Spatial-wise attention（空间注意力）是深度学习中的一种注意力机制，用于处理输入数据的空间维度，例如图像或视频中的空间位置。这种注意力机制的目标是在不同的空间位置上分配不同的权重，以便网络可以更关注一些位置的信息而忽略其他位置。

结合通道方向和空间方向的注意力，融合的特征可以表示为，𝑷𝑖 = 𝑷𝑖 + 𝑾𝑐 𝑘→𝑖 ⊙ 𝑷𝑘→𝑖 ⊙ 𝑾𝑠 𝑘→𝑖 . 然后，𝑷𝑖 通过2D batchNorm进行归一化，以减少梯度对参数尺度的依赖性，然后应用类似的方法进行融合𝑷𝑙→𝑖 来自下一个代理𝑙 ∈ M−{𝑘, 𝑖}. 因此，可以将空间关注和通道关注应用于选择特征。使用互补增强和冗余最小化模块来进一步监督注意力。

Complementarity Enhancement: Contractive Learning

通过计算融合特征之间的边际性能增益，contractive learning 有助于选择具有最大互补性的特征，从而减少冗余并提高检测精度

• 𝛿𝑘是额外信息增益
• 𝐿𝑐𝑙𝑠分类损失（交叉熵）
• 𝑝𝑛𝑗(·)为锚𝑛为𝑗类对象的预测概率;
• 𝑦𝑛j 是 ground truth
• Tik 表示 𝑾𝑐 𝑘→𝑖 ⊙ 𝑷𝑘→𝑖 ⊙ 𝑾𝑠 𝑘→𝑖

该公式意味着使用特征𝑷𝑖 进行预测的分类性能应该比融合的特征𝑷𝑖 + 𝑻𝑘 𝑖 更糟糕, 即，添加𝑻𝑘 𝑖 从而减少损失（更高的分类精度）。
【Contractive learning】 是一种学习方法，它通过最小化输入数据的变化对输出的影响，以获得更稳定和鲁棒的表示。在多智能体协同感知任务中，contractive learning 被用于增强特征的互补性，以便在特征融合过程中实现更高的检测性能

Redundancy Minimization: Mutual Information Upper-bound Estimation

由于特征之间的相关性，融合特征T中的特征之间存在冗余𝑖 , 这将损害融合性能，因为更多的观测将带来噪声。我们应该鼓励特征之间的独立性。所以我们使用互信息（Mutual information MI）来表示特征之间的关联性。目标是最小化互信息，降低MI的上界。

• 𝑝 (𝑥, 𝑦) 是联合概率分布，而𝑝 (𝑥) 和𝑝 (𝑦) 是边际分布。
  

实验

数据集：V2X-Sim

• lowerbound： 单智能体感知
• upperbound：早期融合
  
  Fig4可以看到CE和RM模块对于检测性能的提升。

边际增益定义为当一个额外的代理加入协作时的性能增加，数量越多，增益越少

Table4表示了融合𝑷𝑖 和𝑻𝑘 𝑖的方法，sum效果最好。

结论

本文介绍了一种用于多智能体协作感知的互补增强和冗余最小化协作网络（CRCNet），在选择和融合共享特征时实现了冗余最小化和互补最大化之间的平衡。CRCNet首先声称每个融合特征的边际性能增益，即，具有附加融合特征的检测性能被迫优于没有融合的检测性能。然后，它最小化互信息上界，以鼓励融合特征对之间的独立性，从而消除冗余。与现有技术相比，我们在协作对象检测任务中进行了定量和定性实验，证明了我们提出的方法的有效性。

ps：附上该论文网址https://dl.acm.org/doi/abs/10.1145/3503161.3548197，该论文需要在ACM digital library中下载，若是没有会员可以在学校购买的数据库里找找看。