【GNN for Communication】Privacy-Preserving Decentralized Inference With GNN in Wireless Networks 1

《Privacy-Preserving Decentralized Inference With Graph Neural Networks in Wireless Networks》part1

博士申请的技术面试，需要针对该论文做一个presentation。个人对这个方向和内容很感兴趣，也觉得这篇文章内容很不错，所以分享以互相交流。

无线网络中基于图神经网络的隐私保护分散推理

关键字：Privacy-Preserving隐私保护，Decentralized Inference去中心化推理， Graph Neural Networks图神经网络， Wireless Networks 无线网络

简介

来自IEEE TRANSACTIONS ON WIRELESS COMMUNICATIONS, VOL. 23, NO. 1, JANUARY 2024，作者Mengyuan Lee; Guanding Yu; Huaiyu Da

背景：

1. 传统集中式无线网络存在一定的局限性，例如单点故障、可扩展性问题、高延迟以及与隐私和安全相关等问题，使得其适应动态环境具有挑战性。
2. 去中心化的无线网络可以灵活地实现本地自组织，这有助于本地分布式决策而不是全局通信，从而实现低延迟和鲁棒性。
3. 使用图神经网络依靠网络拓扑表示使得实现GNN 去中心化推理来避免集中式无线网络的局限性，实现高效且可扩展的分散控制的无线网络。本文在本地信息聚合过程中提出隐私保护无线信令保护本地用户隐私。并且由于提出的无线信令中同时利用了人工噪声和信道噪声，可能会降低估计精度，本文修改传统GNN的训练过程，引入减轻噪声和衰落的考虑，在一定的隐私保证下增强去中心化GNN的推理性能。

个人觉得本文主要提出三个问题并给予了解决：

• How to use GNN to represent wireless networks?
• How to apply GNN into decentralized inference?
• How to enable GNN to privacy preserving policy?
  但实际上本文主要针对解决最后一个问题，关注GNN的消息传递和训练过程中可能存在隐私泄漏问题。

所以第二节Preliminaries和本文关注问题，以及全文逻辑：
使用GNN来表示无线通讯网络，在每个node在聚合neighborings信息时可能存在隐私泄漏或隐私攻击问题，在这里引入Local Differential Privacy 来保护节点信息（本地信息）。由于Local Differential Privacy 是通过引入噪声机制来保护隐私，所以在经过图神经网络几次迭代后可能有雨噪声和衰落使得迭代后的signal（feature/information/estimation）出现shift，所以提出Privacy-Preserving Wireless Signaling 和 Privacy-Guaranteed Training Algorithm 来改善问题。而Aircomp通过利用信号叠加特性，可以在多址信道（MAC）中同时传输和计算来自用户的模拟信号，因此与正交传输然后计算协议相比，显着提高了通信和计算效率。 所以，在 GNN 的推理阶段本文采用 Aircomp 技术进行通信和计算高效的聚合。

介绍

1. 本地差分隐私（Local Differential Privacy ）
   本地差分隐私（LDP）通常是去中心化系统中保护隐私的强有力标准。 LDP引入噪声添加机制，例如拉普拉斯噪声或高斯噪声，来扰乱个体数据。通过对每个用户的数据添加噪声，系统可以对整个数据集进行分析，同时保护每个用户的隐私。
2. 图神经网络（Graph Neural Networks）
   图神经网络的中心为GNN 的每一层：
   (i)消息函数和聚合函数：从图中每个节点的邻域收集信息；
   (ii)更新函数：更新图中每个节点在某一层的隐藏状态。
   
3. 空中计算（Over-the-Air Computation）
   通过利用信号叠加特性，Aircomp可以在多址信道（MAC）中同时传输和计算来自用户的模拟信号，因此与正交传输然后计算协议相比，显着提高了通信和计算效率。以有 K 个用户的MAC 为例，每个用户发送一个信号 $s_k∈R $，接收端接收到的具有信号叠加性质的信号为 $ r=Σ^K_{k=1}s_k $，从而实现求和的任务K 个用户的信号。类似地，通过额外采用预处理和后处理函数，上述Aircomp过程还可以实现其他实值多元函数，例如算术/几何平均。空中计算的方式，使得传统数据需要回传至中心节点的N次计算都在传输过程中完成，而中心节点只需要进行一次平均值计算，从而减少了延时。

系统模型

• 通过图神经网络的无线网信息传递和聚合（Information aggregation with GNN）
  在一般的无线通讯网络中的拓扑结构可以转化为如下的图结构-包含节点信息和边信息的拓扑图。对于节点级的任务来说，目标节点通过收集聚合邻居节点信息进行消息传递。
  
  在无线通信网络中：
• 目标节点向邻居节点发送request。
• 各个邻居节点收到request后，通过无线通道传递信号$w_{uv}^{(k)}=\sqrt{P_u}{f}_M^{(k)}(h_u^{(k-1)},e_{vu})$给目标节点进行消息传递，其中 P u P_u P