《FedGraph: Federated Graph Learning with Intelligent Sampling》论文阅读笔记
-
背景:
FL能够在分布式设备中协同机器学习,同时保护数据隐私,因此受到了研究关注。然而,现有的FL主要关注卷积神经网络,在学习图像和声音数据上具有较高的准确性,但很多应用都是生成图结构数据,CNN并不能有效处理图结构数据。GCN是图学习中一种很有研究前景的图学习技术之一,与CNN操作不同的是,它能过滤一小部分邻居像素点,图卷积操作过滤邻居节点的特征,但是现有的联邦学习主要集中在CNN上,对于GCN的探索还不足。 -
存在问题:
GCN上的联邦学习并不是CNN上的简单扩展。原因:
(1)GCN训练需要在不同客户端共享节点特征,会泄露隐私。为了利用图结构信息,图卷积操作用来聚合邻居节点的特征。如果邻居节点保留在别的客户端,拒绝暴露他们的特征,这种聚合操作将会失败。一种方法是不共享特征,但这会减少训练的准确度。
(2)大型图会导致GCN的训练开销大。 -
本文:
为联邦图学习提出了FedGraph,融合联邦学习和GCN的思想,实现隐私保护的分布式图学习。FedGraph能够在分布式的图上学习,处理以上问题,最终收敛得到一个很高的训练准确度。
问题1:可以使用密码学技术解决,但是计算开销太大。FedGraph设计了跨客户端的图卷积操作,不需要直接共享节点特征,将他们在共享之前嵌入成