【论文导读】- Federated Graph Neural Networks Overview, Techniques and Challenges（联邦图神经网络：概述、技术和挑战

论文地址：https://arxiv.org/abs/2202.07256

摘要

With its powerful capability to deal with graph data widely found in practical applications, graph neural networks (GNNs) have received significant research attention. However, as societies become in-creasingly concerned with data privacy, GNNs face the need to adapt to this new normal. This has led to the rapid development of federated graph neural networks (FedGNNs) research in recent years.Although promising, this interdisciplinary field is highly challenging for interested researchers to enter into. The lack of an insightful survey on this topic only exacerbates this problem. In this paper, we bridge this gap by offering a comprehensive survey of this emerging field. We propose a unique 3-tiered taxonomy of the FedGNNs literature to provide a clear view into how GNNs work in the context of Federated Learning (FL). It puts existing works into perspective by analyzing how graph data manifest themselves in FL settings, how GNN training is performed under different FL system architectures and degrees of graph data overlapacross data silo, and how GNN aggregation is performed under various FL settings. Through discussions of the advantages and limitations of existingworks, we envision future research directions that can help build more robust, dynamic, efficient, and interpretable FedGNNs.

图神经网络( GNNs )凭借其强大的处理实际应用中广泛存在的图数据的能力，受到了广泛的研究关注。然而，随着社会越来越关注数据隐私，GNNs面临着适应这种新常态的需要。这导致了近年来联邦图神经网络( FedGNNs )研究的快速发展。虽然前景广阔，但这一跨学科领域感兴趣的研究者来说是极具挑战性的。对这一领域缺乏深入的调查只会加剧这一问题。在本文中，我们通过提供对这一新兴领域的全面调查来弥补这一差距。我们对FedGNNs文献提出了一个独特的3层分类法，以提供对GNNs如何在联邦学习( Federation Learning，FL )背景下工作的清晰视图。通过分析图数据在FL设置中的表现形式，不同FL系统架构和图数据跨数据仓重叠程度下如何进行GNN训练，以及不同FL设置下如何进行GNN聚合，对现有工作进行了展望。通过讨论现有工作的优势和局限性，我们展望了未来的研究方向，这些方向可以帮助构建更健壮、更动态、更高效和更易于解释的联邦图神经网络。

论文内容与结构

1. Introduction

首先，引出图神经网络是处理图结构数据的强大工具，以及它的广泛应用。

图神经网络( GNN )是处理图结构数据的强大工具。图结构数据是由图拓扑连接的数据样本。例如，分子数据是以原子作为图中的节点，以连接它们的键作为图中的边的图结构数据。GNNs可以通过考虑从底层图拓扑中提取的邻域信息来提高节点嵌入的质量。它们已被广泛用于各种应用，包括药物发现，神经科学，社交网络，知识图谱，推荐系统以及交通流量预测等。

接着，点出图神经网络中隐私安全，数据隔离问题。

一个训练有素的GNN需要大量的训练图形数据，这些数据在实践中可能分布在不同的机构或数据所有者。由于隐私问题，这些数据所有者可能不愿意共享数据，这导致了数据隔离的问题。此外，不同数据所有者存储的图形数据的分布通常是非同分布，这增加了数据隔离的挑战。这种非同分布属性可以表现为不同数据所有者之间的图结构或节点特征分布的差异。与全局图分布相比，数据所有者中的子图也可能是有偏的。

然后，提出联邦学习结合各种加密技术，可以提供数据隐私的有效保护。

联邦学习( FL)是一种分布式协同机器学习范式，是应对这种数据隔离挑战的一种很有前途的方法。在保持本地数据私有的同时，使本地模型能够相互受益。此外，在非同分布数据存在的情况下学习个性化FL模型的问题也得到了广泛的研究。在联邦学习中，联邦学习参与者只共享模型参数或嵌入特征，而不暴露潜在敏感的本地数据。这种架构设计，结合各种加密技术，可以提供本地数据隐私的有效保护。

再然后，将联邦学习与图神经网络相结合，引出联邦图神经网络技术。

这两种发展趋势的交汇激发了联邦图神经网络( FedGNNs )领域在最近几年的出现，并在2021年迎来了快速发展。一份立场文件总结了这一趋势，设想了四种可能的联邦图神经网络场景，其基础是如何在数据所有者之间划分图形数据。由于当时对这些设想情景的技术研究并不广泛，因此这些情景之间的界限存在重叠。例如，当重构由不同数据所有者存储的图之间的缺失链接时，"水平联邦图神经网络 "可以与"图结构联邦学习 "混淆。如果每个数据所有者只有一个图，它也可以与"图间联邦网络 "混淆。到目前为止，还没有对联邦图神经网络的跨学科主题进行深入的研究，以指导感兴趣的研究人员进入这个有前途但具有挑战性的领域。

最后，说明本文的研究工作。

在本文中，我们通过提供关于联邦图神经网络的现有文献的全面回顾来弥补这一差距。我们提出了一种多层分类法，该分类法首先根据图数据与联邦学习数据拥有者之间的关系对现有工作进行划分，然后基于不同联邦学习系统架构下如何执行图神经网络训练以及跨数据仓的图数据重叠程度，最后基于不同FL设置下如何执行GNN聚合。它提供了一个紧密结合的观点，以帮助读者了解这两个领域如何相互补充。我们分析了现有FedGNN方法的优势和局限性，并讨论了未来的研究方向，这些研究方向可以导致更健壮、动态、高效和可解释的FedGNN。

2. Terminology and Taxonomy（术语与分类法）

将联邦图神经网络按照如下三层结构进行分类：

在第一类中，数据所有者通过图形拓扑相关联。 在这一类别中又可以分为以下两小类：

1. 有中央服务器
2. 没有中央服务器

中央服务器具有客户端间图形拓扑的全局视图。它可以利用这一观点在服务器中训练一个GNN模型来改进FL聚合和帮助客户更新他们的本地图。

**在第二类中，数据所有者与图拓扑不相关。**在这一类别中又可以分为以下三小类：

1. 没有重叠节点的客户端
2. 部分重叠节点的客户端
3. 完全重叠节点的客户端

3. Data Owners Related by a Graph（第一大类）

3.1 FedGNNs with a Central Server

有中央服务器的联邦图神经网络。

客户端的本地数据不一定需要是图形数据。中心服务器根据图中的关系来协调客户端。服务器执行两个协调活动。首先，基于图的拓扑结构进行GNN聚合。其次，它帮助客户更新他们的本地图形，根据图形拓扑估计连接不同客户节点的缺失边。

3.2 FedGNNs without a Central Server

没有中央服务器的联邦图神经网络。

系统中没有服务器来协调数据拥有者，数据拥有者要么持有正常数据，要么持有图数据。数据所有者与他们的邻居直接通信(也就是说,客户端之间的图形拓扑是事先知道的)。

4. Data Owners not Related by a Graph（第二大类）

根据客户端之间图节点的重叠程度，可将该类工作分为3类：1 )无重叠节点的客户端；2 )部分重叠节点的客户端；3 )完全重叠节点的客户端。

4.1 Clients with No Overlapping Nodes

无重叠节点的客户端

客户端使用本地图形数据训练本地GNN模型，并将模型参数上传到服务器以进行FL聚合。

4.2 Clients with Partially Overlapping Nodes

具有部分重叠节点的客户端

4.3 Clients with Completely Overlapping Nodes

具有完全重叠节点的客户端

每个客户端只持有部分节点特征，只有部分客户端持有学习任务的标签。所有客户端都持有相同的节点集合，它们将节点嵌入而不是模型参数上传到服务器进行FL聚合。现有的工作集中在垂直划分的引用网络数据与两个客户端。

5. Promising Future Research Directions（展望未来研究方向）

Robust FedGNNs against malicious attacks.

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取