Personalized Subgraph Federated Learning，FED-PUB,2023,ICML 2023

个性化子图联邦学习
paper:Personalized Subgraph Federated Learning
code

Abstract

更大的全局图的子图可能分布在多个设备上，并且由于隐私限制只能在本地访问，尽管子图之间可能存在链接。最近提出的子图联邦学习(FL)方法通过在局部子图上分布式训练图神经网络(gnn)来处理局部子图之间的缺失链接。然而，他们忽略了由全局图的不同社区组成的子图之间不可避免的异质性，从而使局部GNN模型的不相容知识崩溃。为此，我们引入了一种新的子图学习问题——个性化子图学习，该问题侧重于相互关联的局部gnn的联合改进，而不是学习单一的全局模型，并提出了一种新的框架——联邦个性化子图学习(federalpersonalsubgraph learning, FEDPUB)来解决它。由于服务器无法访问每个客户端的子图，因此，federal - pub利用本地gnn的功能嵌入，使用随机图作为输入来计算它们之间的相似度，并使用相似度对服务器端聚合执行加权平均。此外，它在每个客户端学习个性化的稀疏掩码，以选择和更新聚合参数的子图相关子集。我们在六个数据集上验证了我们的FED-PUB的子图FL性能，同时考虑了非重叠和重叠子图，在这些数据集上，它的性能明显优于相关基线。

1.Introduction

现有方法就是一整个图在一个服务器上。例如，在一个社交网络平台上，每一个用户和他/她的社交网络共同构成了一个由所有用户和他们之间的联系组成的巨大网络。然而，在一些实际场景中，每个用户/机构收集自己的私有图，由于隐私限制，这些图只能在本地访问。例如，正如Zhang等人(2021)所描述的那样，每家医院可能都有自己的患者互动网络，以跟踪他们的身体接触或共同诊断疾病;然而，这个图可能不会与他人分享。当子图分布在多个参与者(即客户端)之间时，我们如何在不共享实际数据的情况下协同训练gnn ?最直接的方法是使用GNN执行联邦学习(FL)，其中每个客户端在本地数据上单独训练本地GNN，而中央服务器将来自多个客户端的本地更新的GNN权重聚合为一个。

然而，它面临的一个重要挑战是如何处理子图之间可能缺失的边，这些边没有被单个数据所有者捕获，但可能携带重要信息(参见图1 (A))。最近的子图FL方法(Wu et al.， 2021a;Zhang等人，2021)通过从其他子图扩展局部子图来解决这个问题，如图1 (B)所示。具体来说，它们通过精确地增加其他客户端的其他子图中的相关节点来扩展局部子图(Wu等人，2021a)，或者通过使用其他子图中的节点信息来估计节点(Zhang等人，2021)。然而，这种节点信息的共享可能会损害数据隐私，并可能产生高昂的通信成本。

图1（A）如下图描述的，子图之间存在缺失的信息，有的解决办法是扩张子图，如图（B）

此外，存在一个更重要的挑战，被现有的子图FL方