【GNN for Communication】Privacy-Preserving Decentralized Inference With GNN in Wireless Networks 2

《Privacy-Preserving Decentralized Inference With Graph Neural Networks in Wireless Networks》part1

博士申请的技术面试，需要针对该论文做一个presentation。个人对这个方向和内容很感兴趣，也觉得这篇文章内容很不错，所以分享以互相交流。

无线网络中基于图神经网络的隐私保护分散推理

系统模型 - B. Optimal Solution for Problem

基于上述分析，第一次迭代的信号设计的优化问题可以表述如下

收到以下约束：

为了解决这个问题，首先，需要将第一个约束（对齐的幅度）转化为更容易处理的形式。然后，我们将讨论并推导出 ϵ*v 在不同范围内时的最优解。

因为第一个约束中，${{\alpha }_{uv}}_{u\in N(v)}$和 $C_v$的值之间存在一一对应关系,所以针对第二个约束，可以得到

所以第一次迭代的信号设计的优化问题可以更新为：
而针对两个约束，我们可以得到

又因为${\rho }_v\le {ϵ}_v^{\ast 2}/(8ln1.25/\delta )$所以

因此我们讨论上下限的问题时，也就是：

这里是讨论 ϵ*v 在不同范围内时的最优解，文章在这里说的很逻辑且清楚。



所以最后优化解可以表示为：

整个优化问题和解这里做的很漂亮，这也是我认为这篇文章很好的一个原因。

C - SNR-隐私权衡和性能分析

在这一部分中，文章分析了所提出的隐私保护无线信令的性能。具体来说，在预测节点 v 的结果时，重点关注目标节点v第一次迭代的信噪比（SNR） 与第一次迭代时实现的隐私保证之间的权衡。这两个指标分别影响推理性能和隐私。利用(18)和(19)中的解，当满足ε*v时，接收信号R~(1)v的SNR最大化，并且最大值由下式给出

也因此，作者对于SNR-隐私权衡函数的图示如下图，将SNR-隐私权衡函数将整个空间划分为可实现和不可实现的区域，用蓝色和橙色标记分别是斜杠。此外，可实现区域还可以进一步分为两个子区域。简而言之，我们可以得到结论：

• ${ϵ}_v\le {ϵ}_v^{(0)}$： ${\rho }_v$的上限仅取决于隐私要求的超参数。所以GNN 的去中心化推理的性能可以通过隐私的损失。
• ${ϵ}_v>{ϵ}_v^{(0)}$: ${\rho }_v$的上限仅取决于无线通信的超参数，包括${\sigma }_v^2$和来自邻居节点的最坏情况接收功率。所以GNN 的去中心化推理性能只能通过增加的无线资源来增强。

隐私保证的训练算法

以上都在讨论隐私保护的无限信令。而为了实现保护隐私的分散推理，在上述无线信令中同时利用了人工噪声和信道噪声。这个会导致在估计精度存在误差，从而导致推理性能损失，例如与完美无线传输且无隐私保证的情况相比，精度较低或均方误差较高。
即使在上述解决方案中最大化信噪比，来提高估计精度，但由噪声和衰落引起的推理性能损失仍然存在。在传统的图神经网络训练算法中没有考虑无线环境，所以这里提出修改GNN的训练过程，以减轻噪声和衰落的影响，并在一定的隐私保证下增强去中心化GNN的推理性能。

1. 增强训练样本：对于传统的训练算法来说，一个训练样本对应一个图数据，包括其图邻接矩阵和节点/边特征。然而，在这个训练算法中，无线传输和隐私保护的参数也包含在训练样本中。具体来说，无线传输的参数包括信道系数 $g_{uv}$ 、信道噪声方差 ${\sigma }_v^2$ 和所有用户的发射功率限制$P_v$ ，而隐私保护参数则指${ϵ}_v^{\ast }$ 和 $\delta$ 。

2. 训练样本的预处理：在训练之前, 每个训练样本计算${\gamma }_{uv},{\alpha }_{uv},{\beta }_{uv}$。

3. 改进的前向传递：在传统的训练算法中，前向传递是指从第一层到第 K 层聚合函数和更新函数中定义的操作计算和存储中间变量和输出。为了抵抗噪声和衰落的影响，采用对抗性训练的思想，在提出的训练算法的前向传递过程中注入噪声和衰落。

在这个图神经网络训练的过程中，作者考虑到了图神经网络训练过程中与无线通讯相结合的需要注意的点，比如加入无线网络传输的参数，并且考虑到噪声的影响引入对抗训练的思想，这个地方处理的也很漂亮。

本文提出了最佳无线信号设计、性能上限分析和改进的训练算法，用于使用 GNN 进行隐私保护分散推理。上述设计和分析具有普适性，不仅适用于不同的无线应用，而且适用于不同的无线通信模型。另一方面，Aircomp 技术有时可能会失败，因为它依赖于用户之间的高精度同步。 此外，GNN 的一些聚合功能，例如max(⋅)，Aircomp 技术无法实现。为了不仅验证设计和分析的普适性，而且避免Aircomp技术可能引起的系统故障，作者扩展到没有Aircomp技术的无线系统，同时进一步强调了Aircomp技术的优越性。 Aircomp 技术用于使用 GNN 进行隐私保护的去中心化推理。

在这里不展开叙述，因为区别也只在于一些Aircomp引入的参数和影响的参数。

采用 Aricomp 技术的 SNR-隐私权衡函数相比，发现${\rho }_v^{max}>{\hat{\rho }}_v^{max}$始终成立。这一结论表明，采用 Aricomp 技术可以提高 GNN 分散推理过程中 ${\hat{h}}_v^{(1)}$ 估计结果的信噪比，同时达到相同的隐私目标。原因如下。如果没有 Aircomp 技术，所有信号都以正交方式传输，并且每个邻居的隐私只能通过人工噪声和信道噪声来保护。然而，在采用 Aircomp 技术的系统中，来自所有邻居的信号是混合的。因此，每个邻居的隐私不仅受到人为噪声和信道噪声的保护，而且还受到其他用户的传输信号的保护。这样，诚实但好奇的邻居或黑客就更难成功检测到每个用户的个人特征。因此，Aircomp技术不仅可以提高通信和计算效率，还可以提高GNN分散推理的性能/隐私性。

Simulation Results

对这个simulation的objective function是Sum Rate Maximization Problem，具体如下：

因为我没有很强的无线通讯背景，所以具体结果分析就不在这里一一具体分析了。作者对于结果的对比和讨论也分享的详细。从图神经网络角度看这篇文章算是非常的好了，一些图神经网络和无线网络结合的点非常准确且在信息传递和信号设计上也看得出来作者对于图神经网络和无线网络的理解程度。总而言之这篇文章设计和写的都很漂亮，个人是很喜欢的。

在此简单分享我自己对于这篇文章的逻辑和亮点的解读，但我也只是个小学生，才疏学浅，如果有什么其他想法，也希望请大神多多指教。

同作者在之前也有一篇《Decentralized Inference with Graph Neural
Networks in Wireless Communication Systems》有对于图神经网络对无线网络建模部分详细的介绍，也蛮不错的，推荐。