论文笔记-FedGraphNN: A Federated Learning Benchmark System for Graph Neural Networks

最新推荐文章于 2023-06-14 15:30:06 发布

cruise-tang

最新推荐文章于 2023-06-14 15:30:06 发布

阅读量718

点赞数 2

分类专栏：论文笔记文章标签：机器学习深度学习人工智能推荐算法神经网络

本文链接：https://blog.csdn.net/weixin_37390905/article/details/125206193

版权

1.简述

GNN已经在业界有了很广泛的应用且很多领域已有SOTA的效果，但是在隐私安全日渐趋严的背景下，如何通过FL实现gnn的跨域联邦学习是一个有益的结合，本文通过联邦环境下对于Graph数据的如何在不同domain集群下进行训练，包括邻居采样、聚合和梯度回传等提出了一套完整的方案，并开源相关实现框架

2.两阶段的联邦GNN训练方式

在这里插入图片描述

阶段一：消息传递，下图k表示编号为k的客户端

在这里插入图片描述

阶段二：readout，下图中S可以表示节点或者图，根据任务类型而定

在这里插入图片描述

标题3.框架功能和架构

在这里插入图片描述

内核功能：框架在标准的分布式引擎功能基础上，通过分布式通信组件实现了多client联合训练的交互需要
ML-API

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cruise-tang

关注关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

FedGraph：GCN与联邦学习的结合

weixin_44760744的博客

12-14

2938

这里写目录标题《FedGraph: Federated Graph Learning with Intelligent Sampling》论文阅读笔记《FedGraph: Federated Graph Learning with Intelligent Sampling》论文阅读笔记背景： FL能够在分布式设备中协同机器学习，同时保护数据隐私，因此受到了研究关注。然而，现有的FL主要关注卷积神经网络，在学习图像和声音数据上具有较高的准确性，但很多应用都是生成图结构数据，CNN并不能有效处理图结构数

【论文阅读笔记】NeurIPS2020文章列表Part2

zincrain的博客

12-09

6022

Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.

参与评论您还未登录，请先登录后发表或查看评论

阅读笔记（FedGraphNN: A Federated Learning Benchmark System for Graph Neural Networks）

weixin_44458771的博客

02-20

531

(Graph Neural Networks，GNNs)都是基于大量的图数据进行训练的，然而在许多现实场景中，例如医疗保健系统中的住院预测，图数据通常存储在多个数据所有者处，由于涉及患者的隐私和相关法律法规限制，不同数据所有者的数据不能直接共享。每个参与图联邦学习的客户端都持有一组图数据，例如在生物化学行业中，一个分子可以表示为一个图，其中节点表示原子，边表示化学键，客户端持有的图数据包括多个分子图，典型的应用是图分类。每个客户端拥有整张图的一部分数据（即子图），典型应用为链接预测、节点分类。

【论文笔记】FedGraph：Federated Graph Learning with Intelligent Sampling

weixin_43747691的博客

09-20

1627

FedGraph：Federated Graph Learning with Intelligent Sampling

【论文阅读总结】FedGraph: Federated Graph Learning With Intelligent Sampling

最新发布

qq_44362147的博客

06-14

347

1、逐节点相邻采样（a）：为每个节点迭代采样固定数量的邻居（Graphsage、VR-GCN、Cluster-GCN）。且它在一些节点上导致了嵌入计算的冗余（采样得到的节点可能是其他节点的共享邻居）。2、分层重要性采样（b）：基于节点度计算的采样概率，为每个GCN层独立地采样固定数量节点（FastGCN）。弊端：由于不同层的节点是独立采样的，一些采样的节点可能与前一层中的节点没有连接，会降低训练性能。对于小批量中的每个节点，迭代地聚合最多 L-1跳之外的邻居的采样子集的嵌入。：客户端C的采样概率。

【论文导读】- Federated Graph Neural Networks: Overview, Techniques and Challenges（联邦图神经网络：概述、技术和挑战）

1+1=王的博客

09-13

1万+

图神经网络( GNNs )凭借其强大的处理实际应用中广泛存在的图数据的能力，受到了广泛的研究关注。然而，随着社会越来越关注数据隐私，GNNs面临着适应这种新常态的需要。这导致了近年来联邦图神经网络( FedGNNs )研究的快速发展。虽然前景广阔，但这一跨学科领域感兴趣的研究者来说是极具挑战性的。对这一领域缺乏深入的调查只会加剧这一问题。在本文中，我们通过提供对这一新兴领域的全面调查来弥补这一差距。

【论文阅读笔记】NeurIPS2020文章列表Part1

zincrain的博客

12-09

2万+

基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)

dsoftware的博客

10-22

2万+

ICRA2020论文整理（SLAM + Deep Learning）

Spacegene的博客

07-20

1万+

参考:https://github.com/PaoPaoRobot/ICRA2020-paper-list Table of Contents: 1. SLAM 2. Deep Learning in Robotics and Automation 3.Localization 4. Sensor Fusion 5. Calibration and Identification 6. Semantic Scene Understanding 7. Reinforcement Learn...

阅读笔记：FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation

橙子姑娘

12-05

1224

FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation ICML’21 | 隐私保护下的图神经网络推荐系统 (qq.com). 重点是看GNN与联邦学习怎么结合的？？ 1. What does literature study? a. 提出基于GNN的隐私保护联邦推荐框架，在隐私保护下利用高阶user-item交互协同训练GNN模型。 2. What’s the innovation? Past shortco

[2018][ICLR]FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS 论文笔记

kdh的专栏

05-20

2844

code https://github.com/vgsatorras/few-shot-gnn.git paperhttps://arxiv.org/pdf/1711.04043.pdf 论文的原理可以直接看论文或者博客，这里主要记录论文中一些含糊的细节 setting 分为 few-shot setting，semi-supervised setting 和 active...

图解联邦学习（Federated Learning）

weixin_42108090的博客

07-09

2656

联邦学习与隐私保护

2020年 ICLR 国际会议最终接受论文(poster-paper)列表(三)

热门推荐

yinizhilianlove的博客

02-21

3万+

来源：AINLPer微信公众号（点击了解一下吧）编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21 2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴千禧大厅）举行。 2020年ICLR会议（Eighth International Con...

ICLR2021 - Federated Learning Paper

柯同学要谦虚

03-01

2682

Federated Semi-Supervised Learning With Inter-Client Consistency & Disjoint Learning Problems Two practical scenarios of Federated Semi-Supervised Learning (FSSL): each client learns with only partly labeled data (Labels-at-Client scenario) 客户端有数据用户端

【李宏毅2020 ML/DL】P18-19 Graph Neural Network | NN4G, DCNN, MoNet, GraphSAGE, GAT, GIN, ChedNet, GCN

记录学习痕迹的公众号：Piper蛋窝

07-25

3759

图神经网络简单的科普，涉及到一些基础的推导。

综述论文“Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection“

yorkhunter的博客

01-15

1772

2019年12月3日上载到arXiv关于联邦学习的综述论文”A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection“。摘要：联邦学习一直是在隐私限制下实现不同组织之间机器学习模型协作训练的热门研究领域。随着研究人员尝试使用不同的隐私保护方法来支持更多的机器学...

联邦GNN综述与经典算法介绍

京东科技开发者

02-15

676

联邦学习和GNN都是当前AI领域的研究热点。联邦学习的多个参与方可以在不泄露原始数据的情况下，安全合规地联合训练业务模型，目前已在诸多领域取得了较好的结果。GNN在应对非欧数据结构时通常有较好的表现，因为它不仅考虑节点本身的特征还考虑节点之间的链接关系及强度，在诸如：异常个体识别、链接预测、分子性质预测、地理拓扑图预测交通拥堵等领域均有不俗表现。

模型融合实践代码

爱吃火锅的博客

12-02

1565

前言我们在训练完模型后，可以试试模型融合，一般会带来一点收益，这里所说的模型融合是这样一种场景：假设训练了多个epoch，我们就可以拿到topk个最好的模型，假设3个吧：a,b,c。那么我们可以分别加载这三个模型，取得它们训练好的参数值然后平均，将平均后的参数值作为一个新的模型。当然了还有一种模型融合是将得到的三个模型的预测结果取平均（类似投票原理），这也可以试试，但是这种方式显然在上线的时候要先过三个模型，耗时上太大，而前者所说的参数融合最后上线还是一个模型。所以本篇就简单写两个demo ，供大家快速

Adaptive Personalized Federated Learning 论文解读+代码解析

qq_45478482的博客

11-27

7649

论文地址点这里一. 介绍联邦学习强调确保本地隐私情况下，对多个客户端进行训练，客户端之间不交换数据而交换参数来进行通信。目的是聚合成一个全局的模型，使得这个模型再各个客户端上读能取得较好的成果。联邦学习中FedAvg方法最为广泛，但由于本地数据分片之间的固有多样性和数据再客户端的高度非iid(独立同分布)，FedAvg对超参数非常敏感，不能从良好的手链保证中获益。因此在设备异质性存在的情况下，全局模型不能很好的概括每个客户单独的本地数据。随着客户端数据的多样性增加，全局模型和个性化（客户端）模型的误差

spreadgnn: serverless multi-task federated learning for graph neural network

04-30

spreadgnn是一种无服务器多任务联邦学习方法，针对图神经网络。联邦学习是一种新兴的机器学习方法，它允许不同设备（例如移动设备）上的数据进行局部训练，然后将训练后的模型聚合，以获得更好的泛化性能。Graph Neural Network是一类可以处理图形和网络数据的神经网络，目前在社交网络、化学和蛋白质结构等领域有广泛应用。 spreadgnn使用无服务器架构设计来实现多任务联邦学习。本方法采用一种名为Federated Averaging的模型聚合方法，它将本地模型分发到各个设备上，让每个设备进行本地模型的训练，并将本地模型更新结果汇聚回全局模型中。spreadgnn还使用了一种名为联邦学习架构的方法来处理不同的联邦学习任务，以提高模型泛化性能。同时，spreadgnn使用了一种名为GraphSage的图神经网络模型，以应对图和网络数据。总之，spreadgnn在无服务器架构、Federated Averaging、联邦学习架构和GraphSage等方面做出了创新，能够有效地应对多任务联邦学习的挑战。