【论文笔记】FedGraph：Federated Graph Learning with Intelligent Sampling

最新推荐文章于 2025-03-20 23:55:52 发布

原创

最新推荐文章于 2025-03-20 23:55:52 发布 · 2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #神经网络 #机器学习

本文提出FedGraph，一种联邦图学习系统，旨在实现隐私保护下的分布式图卷积网络(GCN)学习。FedGraph解决了传统GCN训练中的隐私泄露风险及高开销问题，通过跨客户端图卷积操作及基于深度强化学习的智能图采样算法，有效提升训练效率和准确度。

概览：

联邦学习因其在分布式机器学习中的隐私保护而受到研究的广泛关注。然而，现有的联邦学习工作主要集中在卷积神经网络(CNN)上，该网络不能有效地处理在许多应用中流行的图数据。图卷积网络(GCN)被认为是最有前途的图学习技术之一，但其在联邦学习方向的探索很少。本文提出了用于多个计算客户端之间的联邦图学习，每个客户端都有一个子图。FedGraph通过解决两个独特的挑战为跨客户端提供了强大的图形学习能力。首先，传统的GCN训练需要在客户之间进行功能数据共享，从而导致隐私泄露的风险。FedGraph使用一种新的跨客户机卷积操作来解决了这个问题。第二个挑战是大图大小所产生的高GCN训练开销。本文提出了一种基于深度强化学习的智能图采样算法，该算法可以自动收敛到最优的采样策略，并且平衡了训练速度和精度。本文基于PyTorch实现了FedGraph，并将其部署在一个测试台上以进行性能评估。在四个流行数据集的实验结果表明，通过使更快的收敛到更高的精度，显著优于现有的工作。

基础信息

分支领域

联邦学习Federated learning, 图学习graph learning, 图采样graph sampling,

强化学习reinforcement learning

论文作者

Fahao Chen, Peng Li (Senior Member, IEEE), Toshiaki Miyazaki (Member, IEEE),

Celimuge Wu (Senior Member, IEEE)

Publishment

IEEE, 08 November 2021

正文内容

摘要

背景：联邦学习因其在分布式机器学习中的隐私保护而引起了广泛的研究关注。然而，现有的联邦学习工作主要集中在卷积神经网络（CNN）上，在学习图像和声音数据上具有较高的准确性，但很多应用都是生成图结构数据，因此CNN并不能有效处理图结构数据。图卷积（GCN）是图学习中一种很有研究前景的图学习技术之一，不同于CNN操作过滤一小部分邻居像素点，图卷积操作过滤邻居节点的特征，但是现有的联邦学习主要集中在CNN上，对于GCN的探索还不足。

目的：文章提出了用于多个计算客户端之间的联邦图学习的FedGraph，每个客户端都有一个子图。FedGraph通过解决两个独特的挑战，跨客户端提供了强大的图形学习能力。首先，传统的GCN训练需要在客户之间进行功能数据共享，从而导致隐私泄露的风险。FedGraph使用一种新的跨客户机卷积操作来解决了这个问题。第二个挑战是大图大小所产生的高GCN训练开销。提出了一种基于深度强化学习的智能图采样算法，该算法可以自动收敛到最优的平衡训练速度和精度的采样策略。