【论文笔记】FedGraph：Federated Graph Learning with Intelligent Sampling

概览：

联邦学习因其在分布式机器学习中的隐私保护而受到研究的广泛关注。然而，现有的联邦学习工作主要集中在卷积神经网络(CNN)上，该网络不能有效地处理在许多应用中流行的图数据。图卷积网络(GCN)被认为是最有前途的图学习技术之一，但其在联邦学习方向的探索很少。本文提出了用于多个计算客户端之间的联邦图学习，每个客户端都有一个子图。FedGraph通过解决两个独特的挑战为跨客户端提供了强大的图形学习能力。首先，传统的GCN训练需要在客户之间进行功能数据共享，从而导致隐私泄露的风险。FedGraph使用一种新的跨客户机卷积操作来解决了这个问题。第二个挑战是大图大小所产生的高GCN训练开销。本文提出了一种基于深度强化学习的智能图采样算法，该算法可以自动收敛到最优的采样策略，并且平衡了训练速度和精度。本文基于PyTorch实现了FedGraph，并将其部署在一个测试台上以进行性能评估。在四个流行数据集的实验结果表明，通过使更快的收敛到更高的精度，显著优于现有的工作。

基础信息

分支领域

联邦学习Federated learning, 图学习graph learning, 图采样graph sampling,

强化学习reinforcement learning

论文作者

Fahao Chen, Peng Li (Senior Member, IEEE), Toshiaki Miyazaki (Member, IEEE),

Celimuge Wu (Senior Member, IEEE)

Publishment

IEEE, 08 November 2021

正文内容

摘要

背景：联邦学习因其在分布式机器学习中的隐私保护而引起了广泛的研究关注。然而，现有的联邦学习工作主要集中在卷积神经网络（CNN）上，在学习图像和声音数据上具有较高的准确性，但很多应用都是生成图结构数据，因此CNN并不能有效处理图结构数据。图卷积（GCN）是图学习中一种很有研究前景的图学习技术之一，不同于CNN操作过滤一小部分邻居像素点，图卷积操作过滤邻居节点的特征，但是现有的联邦学习主要集中在CNN上，对于GCN的探索还不足。

目的：文章提出了用于多个计算客户端之间的联邦图学习的FedGraph，每个客户端都有一个子图。FedGraph通过解决两个独特的挑战，跨客户端提供了强大的图形学习能力。首先，传统的GCN训练需要在客户之间进行功能数据共享，从而导致隐私泄露的风险。FedGraph使用一种新的跨客户机卷积操作来解决了这个问题。第二个挑战是大图大小所产生的高GCN训练开销。提出了一种基于深度强化学习的智能图采样算法，该算法可以自动收敛到最优的平衡训练速度和精度的采样策略。

知识背景

联邦学习

联邦学习的目标是在分布式设备之间训练一个共享模型，同时避免暴露它们的训练数据。

典型的联邦学习设置由许多设备组成，每个设备都包含一个无法向其他设备公开的数据集。此外，还有一个参数服务器负责在设备之间同步训练结果。

联邦学习包含多轮训练。在每一轮训练中，设备首先从参数服务器下载最新的全局模型，并使用本地数据独立进行训练。然后，他们将更新的模型或模型差异发送回参数服务器。在从所有设备收集训练结果后，参数服务器将它们集成以创建一个新的全局模型。在整个训练过程中，设备只共享模型，几乎不可能从这些模型中推断出训练数据。

优势：联邦学习使得在本地数据的私密性得以保证的前提下，本地模型间互相受益；

图卷积网络GCN

CNN 在学习欧几里得数据（例如图像和视频）方面取得了巨大成功，但是在实践中大量的数据都表示为由节点和边组成的图，也称为非欧几里得数据。而GCN主要是针对图结构的，其核心思想是利用边的信息对节点信息进行聚合从而生成新的节点表示。GCN的本质目的就是用来提取拓扑图的空间特征。

​

图采样

两种的采样方式：Node-wise和Layer-wise的说明。采样的节点用颜色标记（深色、红色和蓝色）。虚线箭头表示原始图中的边连接。实心箭头表示采样节点保留的边。

（a） Node-wise以GraphSAGE为代表，是指从目标节点逐层地进行邻居采样，对每个节点都采固定数目的邻居节点。这种方式的好处是缓解了内存需求，但它会在某些节点上引起嵌入计算的冗余，例如图 2（a）中的红色节点，它们是其他节点的共享邻居。最近提出了几种方法，例如 VR-GCN和 Cluster-GCN，以提高节点邻域采样的性能，但它们不能从根本上解决这个弱点

（b） Layer-wise按层采样以FastGCN为代表，它的想法是放弃从节点出发采样，而是在图卷积层的维度上，在每层采样固定数目的节点，这样对于采出来的子图，它的规模是可控的（不像邻居采样，采出来的子图可能很大）。其基本思想是根据一个采样概率为每个GCN层独立采样固定数量的节点，该采样概率是根据节点度数计算出来的。FastGCN能够同时克服内存和时间瓶颈，但又带来了一个新的问题：然而，由于不同层的节点是独立采样的，因此某些采样节点可能与前一层中的节点没有连接，如图2（b）所示的蓝色标记节点。在图卷积操作期间，一些未链接节点的嵌入可能会丢失，这会降低训练性能。

FedGraph设计

本文提出了FedGraph，融合联邦学习和GCN的思想，实现隐私保护的分布式图学习。FedGraph能够在分布式的图上学习，处理以上问题，最终收敛得到一个很高的训练准确度。

问题1：可以使用密码学技术解决，但是计算开销太大。FedGraph设计了跨客户端的图卷积操作，不需要直接共享节点特征，将他们在共享之前嵌入成一个低维特征，因此无法通过这些信息得到原始特征，保护用户隐私；

问题2：使用图采样技术，在执行图卷积操作时随机选择一定数量的邻居，减小GCN的训练开销。本文提出了一种基于深度强化学习(DRL)的智能图采样算法，综合考虑计算开销，训练准确度以及客户端异构性，自动调整并寻找最优的采样策略。

FedGraph的架构

每个客户端 i 维护一个本地图 Gi。在训练过程中，小批处理中的节点（红色节点）聚合邻居的嵌入，以生成下一层的嵌入，用红色箭头表示。训练完成后，每个客户端 i 将其本地模型权重 Wi 上传到参数服务器。最后，参数服务器将所有本地模型权重聚合到更新后的全局模型 ̄W 并将其发送回所有客户端。

在传统的机器学习建模中，通常是把模型训练需要的数据集合到一个数据中心然后再训练模型，之后预测。在横向联邦学习中，可以看作是基于样本的分布式模型训练，分发全部数据到不同的机器，每台机器从服务器下载模型，然后利用本地数据训练模型，之后返回给服务器需要更新的参数；服务器聚合各机器上的返回的参数，更新模型，再把最新的模型反馈到每台机器。在这个过程中，每台机器下都是相同且完整的模型，且机器之间不交流不依赖，在预测时每台机器也可以独立预测，可以把这个过程看作成基于样本的分布式模型训练。谷歌最初就是采用横向联邦的方式解决安卓手机终端用户在本地更新模型的问题的。

智能图采用算法

背景

采样策略 {P1, P2, …P|C|} 决定了 GCN 训练中涉及多少节点，它们会影响计算开销和训练精度。采样更少的节点，可以加速训练过程，减少计算开销，但是降低了训练精度。采样更多的节点，可以更好地逼近原始 GCN 以获得更高的训练精度，但会产生很高的计算成本。现有工作所忽略了对抽样策略精度和成本的权衡。

目的

设计一种自动算法，在最少人工的参与下，生成良好的采样策略。

DDPG

深度确定性策略梯度(Deep Deterministic Policy Gradient，以下简称DDPG)。

要解决从unprocessed, high-dimensional, sensory input来的复杂的问题，Google DeepMind 提出的一种使用 Actor Critic 结构, 但是输出的不是行为的概率, 而是具体的行为, 用于连续动作 (continuous action) 的预测。DDPG 结合了之前获得成功的 DQN 结构, 提高了 Actor Critic 的稳定性和收敛性。

DDPG算法采用actor-critic架构，有四个神经网络，Critic部分有两个神经网络，target network Q‘ 和 critic network Q，actor部分有两个神经网络，target network U‘ 和 critic network U。

Policy Gradient：强化学习是一个通过奖惩来学习正确行为的机制。有学习奖惩值, 根据自己认为的高价值选行为, 比如 Q learning, Deep Q Network, 也有不通过分析奖励值, 直接输出行为的方法, 如Policy Gradients。Policy Gradients 直接输出动作的最大好处就是, 它能在一个连续区间内挑选动作, 而基于值的, 比如 Q-learning, 它如果在无穷多的动作中计算价值, 从而选择行为, 这, 它可吃不消。

基于DDPG的采样算法

设计了一个演员网络 μ(s|θμ) 来预测确定性动作，并设计一个评论家网络 q(s, a|θq ) 来估计动作值函数 qπ （一，一）。同时维护actor网络和critic网络的副本，分别表示为̃μ(s| ̃θμ)和̃q(s, a| ̃θq )，它们也称为目标网络。它们可用于更新原始演员和评论家网络。

性能评估

实验设置

实验组一：不进行图采样，使用原始图构建 GCN。

实验组二：使用GraphSAGE，从目标节点逐层地进行邻居采样。

实验组三：使用FastGCN每层采样固定数目的节点。

实验结果

训练精确度

从图中我们能看出，FedGraph 能够以更快的速度收敛并达到更高的精度。

GraphSAGE 存在严重的计算冗余问题，这会消耗更多的训练时间。 FastGCN 无法从其他客户端获取足够的嵌入信息，因为一些采样节点没有边缘连接。 Full-batch 方案需要计算所有节点的嵌入，这会产生很高的计算成本，尤其是在 PubMed 和 Reddit 较大的图上。

图异质性的影响

随着图在所有数据集下变得更加异构，所有采样方案的训练时间都会增加。然而，FedGraph 对时间增长有更好的控制，因为它基于 DRL 的采样共同考虑了训练速度和准确性。

跨客户端嵌入共享的效果

图中展示了这三种设计的准确度收敛。FedGraph allShare是从第一层共享嵌入以最大化信息共享，FedGraph nonShare是丢弃交叉客户共享以简化设计。总训练轮数设置为 300。

我们可以发现 FedGraph 的曲线与 FedGraph allShare 的曲线很接近，这表明 FedGraph 即使信息丢失也很小尽管它消除了第一层的嵌入共享。这是因为高层嵌入包含有关原始特征的信息。因此，FedGraph 可以有效地从跨客户端嵌入共享中学习，而无需交换原始特征。同时，FedGraph 在所有数据集下都显着优于 FedGraph nonShare。

GCN深度的影响

通过改变图卷积层的数量来研究 GCN 深度的影响。结果如图所示。我们可以看到，对于所有数据集，随着我们将层数从 2 增加到 4，时间复杂度都有明显的增长。同时，精度变化不大。特别是，由于过度平滑问题，Citeseer 的准确性随着 GCN 层的增长而降低。

非独立同分布数据的影响

通过为每个局部图选择节点类型的子集来生成非独立同分布数据分布。实验结果表明，FedGraph 仍然优于其他方案。

相关工作

联邦学习

1、zhao等【2】证明了non-IID数据在联邦学习中的影响，并提出了一种向每个客户端发送一组均匀分布数据以减少非独立同分布数据影响的方法。

2、Suzumura 等人 [37] 开发了一个联合学习平台来检测跨多个金融机构的金融犯罪活动。他们通过图分析方法而不是图神经网络将全局图信息提取到Euclidean数据。此外，他们假设全局图属于所有客户端。

对比：FedGraph在on-Euclidean数据上研究 GCN，每个客户端都拥有一个本地图

3、蒋等人，[38] 提出了一种基于 GNN 和联邦学习的新型分布式监控系统。他们考虑跨设备联合设置，涉及大量计算和通信能力有限的相机。他们旨在保护经过训练的模型。

对比：FedGraph研究了一个跨筒仓联合设置，它通常涉及少量客户端；探索客户端之间的连接并保护节点功能。

4、Mei 等人，[9] 研究了具有垂直联邦设置的联邦隐私保护图神经网络，即假设图结构、特征和标签属于不同的来源。

对比：FedGraph考虑水平联合设置，即每个本地客户端维护一个完整的图形数据集，具有自己的图形结构、节点特征和标签。

GCN

1、 NeuGraph框架可以加速GCN训练，其不仅支持单GPU训练，而且还支持多GPU上的并行处理。缺点：没有保护隐私

2、 图采样可以有效减少GCN训练开销。

GraphSAGE：通过对相邻节点的子集进行采样来构建简化的 GCN。然而，GraphSAGE 在某些节点上作为公共邻居会产生冗余计算。

Cluster-GCN和VR-GCN：通过减小采样节点的大小来减轻冗余计算，但它们在训练非常大和深的 GCN 时仍然不能很好地解决这个问题。

FastGCN：对每一层的节点进行独立采样，而不是对每个节点的邻居进行采样。这种采样方法可以有效地降低计算成本，但是由于独立采样，一些采样节点可能没有连接，这会降低训练精度。

都依赖与手动调整参数。

总结

本文提出了一种新的联邦图系统：FedGraph，以实现保护隐私的分布式GCN学习。与传统的联邦学习不同，FedGraph更具挑战性，因为GCN训练过程涉及到嵌入客户端之间的共享。为了解决这一挑战，FedGraph使用了一种新的跨客户机图卷积操作，在共享之前压缩嵌入，以便可以很好地隐藏私有信息。此外，为了减少GCN的训练开销，FedGraph采用了基于DRL的采样方案，可以很好地平衡训练速度和精度。在一个20个客户端测试台上的实验结果表明，FedGraph的性能明显优于现有的方案。