论文笔记：Federated Graph Neural Networks: Overview, Techniques and Challenges

最新推荐文章于 2024-07-03 16:34:03 发布

探索计算机知识的边缘

最新推荐文章于 2024-07-03 16:34:03 发布

阅读量1k

点赞数 2

文章标签：论文阅读深度学习人工智能

本文链接：https://blog.csdn.net/qq_44452377/article/details/127104033

版权

本文提出了一种针对联邦图神经网络(FedGNN)的三层分类法，并分析了图数据在不同联邦学习架构下的表现形式及训练方式，展望了FedGNN的未来研究方向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文地址：https://arxiv.org/pdf/2202.07256.pdf

3、适用于大规模图数据的高效的FedGNN

4、可解释的FedGNN以提高模型的可解释性

5、去中心化的FedGNN中多跳邻域聚合

6、用于基准测试的真实的分布式图数据集

一、摘要

1、论文提出一种关于联邦图神经网络的三层分类法。

2、论文分析了图数据在联邦学习情景下的不同表现形式，以及不同联邦学习系统架构和数据孤岛之间图数据不同重合程度情境下GNN的训练方式。

3、论文预测了FedGNN未来的研究方向。

二、引言

不了解GNN的读者可以参考我的另一篇介绍GNN的文档：什么是图神经网络GNN？_探索计算机知识的边缘的博客-CSDN博客

GNN的特点：GNN可以从潜在的图拓扑结构中提取邻域信息来加强顶点embedding的质量。也就是说在GNN中，图上每个顶点的embedding综合了当前顶点、邻接顶点以及相连边的信息。所以在药物发现、神经科学、社交网络、知识图谱、推荐系统、交通流量预测中被广泛地应用。

FedGNN数据特点：不同客户端上的图数据通常是非独立分布（non-IID），表现在图结构和节点特征分布的差异性，客户端上的子图和全局图分布之间也有偏差。

术语：

（1）图由若干个相连的顶点构成，可以表示为邻接矩阵 $\mathbf{A\in R^{N\times N}}$ ,全体顶点特征可以表示为 $\mathbf{X\in R^{N\times f}}$

（2）联邦学习中，如果客户端由一个被称为中心服务器的实体协调，那么就是集中式联邦学习。如果客户端在没有中心服务器调控下直接通信，称为去中心化的联邦学习。

（3）GNN和FL都涉及到一个“聚合”操作。GNN中的聚合通过聚合来自相邻顶点的信息来更新给定顶点的embedding（聚合操作可以是平均、加权平均或max/min池化方法）。在FL中，聚合通过遵循给定的FL算法(例如，FedAvg)更新客户端上传的本地模型参数。为了区分GNN和FL中的聚合操作，我们在本文中将它们分别称为GNN聚合和FL聚合。

三、3层FedGNN分类方法

1、分类方法简述

根据图所处的位置将FedGNN分为两大类

（1）客户端通过图拓扑进行关联。例如，银行可以是客户端，它拥有许多账户作为图中的顶点，账户之间的交易作为边。银行可以通过不同银行持有的账户之间的交易与其他银行建立联系。注意，如果客户端之间以图的拓扑进行联系，那么客户端内部的数据可以不用是图结构的。

 按照FedGNN中是否有中心服务器参与，可以再细分为两类：

（1.1）有中心服务器。中心服务器拥有客户端图拓扑的全局视图，可以通过在中心服务器中训练GNN模型来改进FL聚合，或者帮助客户端更新本地图。

（1.2）没有中心服务器。那么客户端的图拓扑必须要事先知道以便找到他们的邻居。

（2）客户端不通过图拓扑进行关联。但是，客户端内部的数据必须是图结构的。例如，多个电子商务公司各自拥有以图形表示的用户-物品浏览数据，他们合作训练基于 FedGNN 的推荐系统模型。在这种模式下，是需要有一个中心服务器的。

按照客户端之间顶点的重合程度，还可以细分为三类：

（2.1）没有重合的顶点

（2.2）顶点部分重合

（2.3）顶点完全重合

2、客户端通过图拓扑进行关联

在这种情况下，通常假设客户端的本地数据分布是非独立的，图上关系密切的客户端可能共享相似的数据分布。例如，安装在道路附近的交通监控传感器往往会记录类似的交通状况。

2.1、有中心服务器的FedGNN

客户端的本地数据不一定是图数据。客户端在图中的关系由图中的虚线表示，中心服务器协调客户端进行聚合由图中的实线表示。服务器执行两个协调活动：首先，它基于客户端之间的图拓扑进行GNN聚合。其次，它基于图拓扑估计不同客户端之间的缺失边来帮助客户端更新其本地图。

文章接下来对一些相关的论文做了介绍，有兴趣的读者可以阅读原文了解。

2.2、没有中心服务器的FedGNN

在这种FedGNN模式下，没有一个中心服务器来协调各个客户端的模型聚合，客户端之间直接进行通信，图中虚线表示客户端在图中的关系（图拓扑是所有客户端事先知道的）。根据图拓扑，客户端有两种方式进行模型参数的聚合：通过加权求和方式或者图正则化方式。由于这种分布式的设定，最终每个客户端上的模型都是个性化的。

加权求和方式进行模型聚合：公式为 $\mathbf{W_{i}^{\left ( t+1 \right )}=\sum_{j\epsilon N\left ( i \right )}a_{i,j}\cdot \left [ W_{j}^{\left ( t \right )} \right ]}$ ，其中 $W_{i}^{\left ( t+1 \right )}$ 表示客户端i第t轮的模型参数， $N\left ( i \right )$ 是客户端i在图拓扑上相邻的客户端集合， $a_{i,j}$ 是图拓扑邻接矩阵的元素，反映了客户端i和客户端j之间数据的相似性。
图正则化方式进行模型聚合：客户端将拉普拉斯正则化应用到目标函数中，以使相邻客户端的模型参数相似，从而解决非IID数据问题，公式我没有太看懂，以后再更新。

文章接下来对相关论文进行了介绍，感兴趣的读者可以阅读原文进行了解。

3、客户端之间不存在图拓扑结构

图拓扑、图数据以及GNN模型只存在于客户端内部中，根据不同客户端中图节点的重合程度，FedGNN可以分为三类，（1）没有重合节点的客户端（2）部分节点重合的客户端（3）节点完全重合的客户端

3.1、没有重合节点的客户端

不同颜色的顶点表示不同种类的顶点，客户端在本地利用局部图数据进行模型训练，最后将模型上传到中心服务器进行聚合。这种方式其实就有点类似于普通的联邦学习。

文章接下来对相关论文进行了介绍，感兴趣的读者可以阅读原文进行了解。

3.2、部分节点重合的客户端

3.3、节点完全重合的客户端

每个客户端只有部分的节点特征，只有部分客户端拥有学习任务标签。所有客户端都拥有相同的节点集合，进行 FL 聚合时，它们将节点embedding而不是模型参数上传到服务器。现有工作侧重于具有两个客户端的垂直分区引文网络数据。

四、未来有前景的研究方向

1、能抵御恶意攻击的鲁棒的FedGNN

目前有些研究工作已经在通过差分隐私和密码学方法来抵御恶意攻击，但他们是被用来抵御半诚实的攻击者，因此需要更多的研究来保证恶意攻击下FedGNN的鲁棒性。

2、适用于动态图数据的FedGNN

在动态图数据中，节点特征和图拓扑是会随着时间而改变的，因此，时间信息必须要纳入考虑。在客户端之间存在图拓扑的情境下，边的权重和连接性会动态改变，这也是未来的研究方向之一。

3、适用于大规模图数据的高效的FedGNN

目前的FedGNN都是在小规模分布式数据集上进行学习的，因此，客户端之间的通信效率没有被充分的考虑，但是当在大规模图数据上进行学习时，需要聚合的GNN模型参数就会非常大，通信开销就会成为一个重要的瓶颈。

4、可解释的FedGNN以提高模型的可解释性

FedGNN涉及复杂的模型结构和训练过程。因此，在这种情况下实现可解释性更具挑战性。将可解释性纳入FedGNN 需要共同考虑相关利益相关者对可解释性的需求，同时平衡保护隐私和有效训练模型的目标。

5、去中心化的FedGNN中多跳邻域聚合

在现有的去中心化 FedGNN 研究中，只有 1 跳邻居的模型参数被聚合，为每个客户端生成个性化的 FL 模型。尽管这种方法简化了模型结构，但它限制了FedGNN利用客户端图拓扑中丰富的邻域信息的能力。使 FedGNN 能够突破这一限制的同时仍保持模型结构和训练过程相当简单的新技术是有意义的。

6、用于基准测试的真实的分布式图数据集

现有的 FedGNN 研究工作大多使用合成的分布式图数据进行评估，它们是从 GNN 基准数据集生成的，例如 Cora、PubMed 和 Citeseer。为了将它们应用到 FL 中，当前的做法是将整个图划分为多个子图，然后将这些子图分配给不同的客户端。以这种方式分配给每个客户端的子图的大小往往很小。FedGNN 领域的长期发展仍需要建立现实的、大规模的联邦图数据集，保证在接近实际应用的前提下进行实验评估。现实世界的图形数据集，例如大脑连接数据集、分子数据集、推荐系统和知识图谱，可以作为有用的起点。