【GNN for Communication】Privacy-Preserving Decentralized Inference With GNN in Wireless Networks 1

《Privacy-Preserving Decentralized Inference With Graph Neural Networks in Wireless Networks》part1

博士申请的技术面试，需要针对该论文做一个presentation。个人对这个方向和内容很感兴趣，也觉得这篇文章内容很不错，所以分享以互相交流。

无线网络中基于图神经网络的隐私保护分散推理

关键字：Privacy-Preserving隐私保护，Decentralized Inference去中心化推理， Graph Neural Networks图神经网络， Wireless Networks 无线网络

简介

来自IEEE TRANSACTIONS ON WIRELESS COMMUNICATIONS, VOL. 23, NO. 1, JANUARY 2024，作者Mengyuan Lee; Guanding Yu; Huaiyu Da

背景：

1. 传统集中式无线网络存在一定的局限性，例如单点故障、可扩展性问题、高延迟以及与隐私和安全相关等问题，使得其适应动态环境具有挑战性。
2. 去中心化的无线网络可以灵活地实现本地自组织，这有助于本地分布式决策而不是全局通信，从而实现低延迟和鲁棒性。
3. 使用图神经网络依靠网络拓扑表示使得实现GNN 去中心化推理来避免集中式无线网络的局限性，实现高效且可扩展的分散控制的无线网络。本文在本地信息聚合过程中提出隐私保护无线信令保护本地用户隐私。并且由于提出的无线信令中同时利用了人工噪声和信道噪声，可能会降低估计精度，本文修改传统GNN的训练过程，引入减轻噪声和衰落的考虑，在一定的隐私保证下增强去中心化GNN的推理性能。

个人觉得本文主要提出三个问题并给予了解决：

• How to use GNN to represent wireless networks?
• How to apply GNN into decentralized inference?
• How to enable GNN to privacy preserving policy?
  但实际上本文主要针对解决最后一个问题，关注GNN的消息传递和训练过程中可能存在隐私泄漏问题。

所以第二节Preliminaries和本文关注问题，以及全文逻辑：
使用GNN来表示无线通讯网络，在每个node在聚合neighborings信息时可能存在隐私泄漏或隐私攻击问题，在这里引入Local Differential Privacy 来保护节点信息（本地信息）。由于Local Differential Privacy 是通过引入噪声机制来保护隐私，所以在经过图神经网络几次迭代后可能有雨噪声和衰落使得迭代后的signal（feature/information/estimation）出现shift，所以提出Privacy-Preserving Wireless Signaling 和 Privacy-Guaranteed Training Algorithm 来改善问题。而Aircomp通过利用信号叠加特性，可以在多址信道（MAC）中同时传输和计算来自用户的模拟信号，因此与正交传输然后计算协议相比，显着提高了通信和计算效率。 所以，在 GNN 的推理阶段本文采用 Aircomp 技术进行通信和计算高效的聚合。

介绍

1. 本地差分隐私（Local Differential Privacy ）
   本地差分隐私（LDP）通常是去中心化系统中保护隐私的强有力标准。 LDP引入噪声添加机制，例如拉普拉斯噪声或高斯噪声，来扰乱个体数据。通过对每个用户的数据添加噪声，系统可以对整个数据集进行分析，同时保护每个用户的隐私。
2. 图神经网络（Graph Neural Networks）
   图神经网络的中心为GNN 的每一层：
   (i)消息函数和聚合函数：从图中每个节点的邻域收集信息；
   (ii)更新函数：更新图中每个节点在某一层的隐藏状态。
   
3. 空中计算（Over-the-Air Computation）
   通过利用信号叠加特性，Aircomp可以在多址信道（MAC）中同时传输和计算来自用户的模拟信号，因此与正交传输然后计算协议相比，显着提高了通信和计算效率。以有 K 个用户的MAC 为例，每个用户发送一个信号 $s_k∈R $，接收端接收到的具有信号叠加性质的信号为 $ r=Σ^K_{k=1}s_k $，从而实现求和的任务K 个用户的信号。类似地，通过额外采用预处理和后处理函数，上述Aircomp过程还可以实现其他实值多元函数，例如算术/几何平均。空中计算的方式，使得传统数据需要回传至中心节点的N次计算都在传输过程中完成，而中心节点只需要进行一次平均值计算，从而减少了延时。

系统模型

• 通过图神经网络的无线网信息传递和聚合（Information aggregation with GNN）
  在一般的无线通讯网络中的拓扑结构可以转化为如下的图结构-包含节点信息和边信息的拓扑图。对于节点级的任务来说，目标节点通过收集聚合邻居节点信息进行消息传递。
  
  在无线通信网络中：
• 目标节点向邻居节点发送request。
• 各个邻居节点收到request后，通过无线通道传递信号$w_{uv}^{(k)}=\sqrt{P_u}{f}_M^{(k)}(h_u^{(k-1)},e_{vu})$给目标节点进行消息传递，其中$P_u$为最大发射功率。
  
• 目标节点接收到各个邻居节点的信号后进行信息聚合，并更新自身信息。即对应图神经网络中：
  
  在这篇文章中，作者考虑：
  • 具有慢衰落和独立同分布 (i.i.d.)高斯噪声的单天线多址系统，这表明信道增益在推理过程中保持静态，而噪声在不同的迭代中是独立同分布的。
  • 信道状态信息（CSI）对于发送器和接收器都是可用的。

所以对于目标节点来说，在经过k次图神经网络迭代后的信号应该为

其中$g_{uv}=|g_{uv}|e^{-j\phi uv},n_v$ 分别是从节点 u 到节点 v 的复值信道系数，和从第 k 次迭代时的节点 v中下$N(0,\sigma v^2)$ 中抽取的独立同分布的高斯噪声向量。

对于这个系统模型来说，其实存在一定缺陷，具体在于：

1. 接收到的信号$R_v^k$受到衰落和噪声的污染，因此不能直接用于估计${\hat{h}}_v^{(k)}$
2. 每个节点的个人特征，即$x_u$（或说 $h_u^0$），可以被“诚实但好奇”的邻居或者潜在的的匿名黑客从传输信号 $w_{uv}^{(1)}$推断/检测到，这设计了隐私暴露/攻击问题。

所以对于以上问题，作者通过提出Privacy-Preserving Wireless Signaling，Privacy-Guaranteed Training Algorithm来解决这些缺陷。

保护隐私的无线信号（Privacy-Preserving Wireless Signaling）

The Last K-1 Iteration

这里的英语比较tricky，
对于推理期间的最后 K-1 次迭代，节点特征，即 w，不直接参与交换信息的计算 。所以，如果第一次迭代的信息缺失，那么之后的节点特征就很难被推断出来。正因为如此，最后 K−1 次迭代不存在隐私泄漏问题，所以信号设计的目标在这个步骤就应该只是纠正信道衰落和噪声，以获得对 ${{\hat{h}}_v^{(k)}}_k^K=2$的无偏且准确的估计.因此，本文提出

其中$e^{-j\phi uv}$是为了纠正无线信道引起的相移，${\gamma }_{uv}$是需要优化的参数。
那么这个时候，因此，第k次迭代后时节点v的接收信号更新为：

而其中$|guv|\sqrt{{\gamma }_{uv}{P}_u}=constant,\forall u\in N(v)$，这个对齐常数需要最大化以提高估计精度。

The first Iteration

前面提到第一次迭代结果对于信息暴露的影响，所以希望提出的无线信令不仅能够估计 ${\hat{h}}_v^{(1)}$，而且可以保证邻居节点特征的隐私。由于之前也提到过添加噪音高斯机制对于(ϵ,δ) -LDP 的有效性。因此，在这里通过将高斯噪声添加到原始发射信号$w_{uv}^{(1)}$。提出第一次迭代时从节点 u 到节点 v 的隐私保护发射信号：

$m_{uv}$：用于隐私保护的人工高斯噪声向量，其元素是独立同分布且服从正态分布。
${\alpha }_{uv}$ 表示分配给节点u的信息的功率分数，满足0 < ${\alpha }_{uv}$ ≤ 1。
${\beta }_{uv}$ 表示分配给人工高斯噪声的功率分数，满足0 < ${\beta }_{uv}$ ≤ 1-${\alpha }_{uv}$。
${\hat{f}}_M^{(1)}(h_u^{(0)},e_{vu})$是进行标准化后的$f_M^{(1)}(h_u^{(0)},e_{vu})$

第1次迭代后时节点v的接收信号更新为：
其中第一部分用于估计 ${\hat{h}}_v^{(1)}$，而最后两个噪声部分则是为了用于隐私保护。

而据于此，我们需要讨论两个问题，一个是如何估计聚合信息的精确度更高，也就是如何使得信噪比最大，另一个则是每个节点的隐私信息得到保证。

基于上述分析，第一次迭代的信号设计的优化问题可以表述如下

收到以下约束：