联邦图学习
文章平均质量分 80
联邦图学习的经典论文阅读笔记,以及代码分享。记录学习过程。
大菠菠菠萝
这个作者很懒,什么都没留下…
展开
-
【论文阅读】《A learnable sampling method for scalable graph neural networks》图神经网络的可学习采样方法
大规模图数据的GNN模型中的节点选择。图神经网络与其他神经网络不同,给定节点的嵌入递归地取决于其所有邻居的嵌入,并且这种依赖性随着层数呈指数增长。这种现象被成为邻居爆炸。目前已经提出的解决方法:node-wise sampling、layer-wise sampling、subgraph sampling。1)固定概率的采样不能保证采样结果是最优的。2)固定概率的采样不能与神经网络的优化更新动态结合。3)泛化能力差。提出一种可学习的采样方法,考虑参数化的采样节点嵌入(包含关于图结构的信息)。原创 2023-06-25 16:07:17 · 254 阅读 · 1 评论 -
【论文阅读】FcgFed《Feature-Contrastive Graph Federated Learning: Responsible AI in Graph Information Analy
系统架构由三部分组成:通信器,数据加载器,核心。在每一轮通信中的本地模型训练之后,聚合器将通过对本地模型的参数进行平均来在服务器中生成新的中心模型。指出MOON方法中,旧的局部模型也具有用于FL的良好参数,将旧的局部模型和当前的局部模型视为负对,则旧的局部模型性能被否定,从而不能在局部数据中收敛的问题。再计算矩阵的特征值和特征向量,选择最大的N个特征值及其特征向量。如果基本模型是全连接神经网络,只需对矩阵的权重进行采样即可生成更小的矩阵。图联邦学习中非独立同分布数据造成的局部模型之间的权重差异。原创 2023-06-21 16:05:58 · 193 阅读 · 1 评论 -
【论文阅读】Feras:《Federated Graph-based Networks with Shared Embedding》
基于采样的图神经网络框架上的节点嵌入聚合问题。促进主机之间节点嵌入和权重矩阵共享。原创 2023-06-21 09:18:08 · 171 阅读 · 1 评论 -
【论文阅读总结】FedGraph: Federated Graph Learning With Intelligent Sampling
1、逐节点相邻采样(a):为每个节点迭代采样固定数量的邻居(Graphsage、VR-GCN、Cluster-GCN)。且它在一些节点上导致了嵌入计算的冗余(采样得到的节点可能是其他节点的共享邻居)。2、分层重要性采样(b):基于节点度计算的采样概率,为每个GCN层独立地采样固定数量节点(FastGCN)。弊端:由于不同层的节点是独立采样的,一些采样的节点可能与前一层中的节点没有连接,会降低训练性能。对于小批量中的每个节点,迭代地聚合最多 L-1跳之外的邻居的采样子集的嵌入。:客户端C的采样概率。原创 2023-06-14 15:30:06 · 330 阅读 · 1 评论 -
联邦图机器学习(综述阅读)
图数据通常分布在多个数据所有者中,由于隐私问题,无法在不同的地方收集图数据。联邦学习是一种分布式学习方案,它使参与者在不共享私人数据隐私的情况下联邦训练一个全局模型。因此将联邦学习与图学习相结合成为解决上述问题的一个很有前途的方案。根据节点类型和边类型的数量,图可以分为同构图(只包含一种类型的节点和一种类型的边)和异构图(其节点属于一种以上的节点或边)。原创 2023-05-31 16:30:10 · 1343 阅读 · 4 评论 -
【论文阅读】FedSage:Subgraph federated learning with missing neighbor generation
随着图越来越大,子图通常被单独收集并存储在多个局部系统中,其中每个局部系统都持有一个可能偏离整个图分布的小子图。因此,子图联邦学习旨在训练一个强大且可推广的图挖掘模型,且无需直接共享图数据。在我们考虑的情况下,全局图被分布成一组具有异构特征和结构分布的小子图。在每个子图上训练一个单独的图挖掘模型可能无法捕捉到全局的数据分布,也容易造成过拟合。使用FedAvg训练GraphSage。图中的数据样本是连接和相关的。在子图联邦学习系统中,每个子图中的数据样本可能与其他子图中的数据样本有连接。原创 2023-06-05 17:23:08 · 617 阅读 · 2 评论 -
【论文阅读】FedGCN:Convergence and communication tradeoffs in federated training of graph convolutional n
提出了一种用于半监督节点分类的图卷积网络的联邦训练框架。考虑了分布式GCN中受忽略的、可能存在有用信息的跨客户端边。在训练开始前客户端与服务器进行一轮通信,传递边信息,以少量的通信代价,提高的训练精度和收敛速度。客户端之间不需要传递信息,增加了隐私安全性。原创 2023-06-02 14:28:54 · 810 阅读 · 2 评论