联邦图机器学习（综述阅读）

已于 2023-06-05 17:23:36 修改
阅读量1k 收藏 6
点赞数 1
分类专栏： 联邦图学习 文章标签： 机器学习 人工智能 深度学习
于 2023-05-31 16:30:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44362147/article/details/130965144
版权

目录

一、联邦图机器学习的介绍

二、联邦图机器学习的类型

三、具有结构化数据的联邦学习（FL With Structured Data）

3.1 跨客户端信息重构

3.2 重叠实例对齐

3.3 非独立同分布数据适配

3.3.3 基于单一全局模型的方法

3.3.2 基于个性化模型的方法

四、结构化联邦学习（Structured FL）

4.1 集中式聚合

4.2 全分散传输

一、联邦图机器学习的介绍

图数据通常分布在多个数据所有者中，由于隐私问题，无法在不同的地方收集图数据。联邦学习是一种分布式学习方案，它使参与者在不共享私人数据隐私的情况下联邦训练一个全局模型。因此将联邦学习与图学习相结合成为解决上述问题的一个很有前途的方案。

根据节点类型和边类型的数量，图可以分为同构图（只包含一种类型的节点和一种类型的边）和异构图（其节点属于一种以上的节点或边）。

二、联邦图机器学习的类型

1、具有结构化数据的联邦学习：客户端基于其图数据协同训练机器学习模型，同时将图数据保存在本地。每个客户端可以具有一个（子）图或多个图。当客户端拥有多个图时，客户端为图级任务训练图机器学习模型；当客户端拥有一个图或整个图的子图时，图机器学习模型用于节点级任务。

2、结构化联邦学习：客户端之间存在结构信息，。将每个客户端作为一个节点时，结构化联邦学习的所有客户端形成一个图（客户端级图）。可以利用客户端图来设计更有效的联邦优化方法。值得注意的是，客户端上的数据集不一定是结构化数据。

挑战：

1、跨客户端信息缺失：具有结构化数据的联邦学习的常见场景中，每个客户端都拥有全局图的一个子图，并且一些节点可能具有属于其他客户端的邻居。由于隐私问题，节点只能聚合其客户端内的邻居特征，这导致了节点表示不足。

2、图结构的隐私泄露：具有结构化数据的联邦学习中，应额外考虑结构信息的隐私。结构隐私会通过共享邻接矩阵或传输节点嵌入空间而暴露。

3、跨客户端的数据异构性：不同于传统联邦学习中来自Non-IID数据样本的异构性，图数据包含丰富的结构信息。同时客户端之间不同的图结构也会影响图机器学习的性能。

4、参数利用策略：在结构化联邦学习中，客户端图使客户端能够从其邻居客户端获得信息。在结构化联邦学习中，应设计好充分利用由中央服务器协调或以完全分散的方式安排的邻居信息的有效策略。

三、具有结构化数据的联邦学习（FL With Structured Data）

3.1 跨客户端信息重构

当一个图被拆分为多个子图，每个客户端拥有一个子图时，每个节点只能对来自其邻居子集（子图中的邻居）的信息进行GNN聚合。丢失的跨客户端信息导致每个客户端上的节点嵌入有偏差。

中间结果传输（中央服务器知道原始图结构）：从客户端收集图机器学习模型的中间结果，并根据跨客户端邻居的完整邻居列表计算节点嵌入。

为了避免暴露原始节点特征，每个客户端在处理第一个GCN层时在其本地子图中执行GNN聚合。然后，每个客户端对节点执行GNN聚合，包括来自其他客户端的其邻居的嵌入。

Question：需要原始图的结构信息来计算节点嵌入，在现实世界中是不切实际的。此外，对于每个本地更新，中间结果被传输多次，这也带来了显著的通信成本。

缺失邻居生成（中央服务器不知道原始图结构）：设计一个缺失邻居生成器，在其他客户端上重建节点的交叉子图邻居的特征。首先每个客户端在其局部子图G_k中隐藏节点和相关边的子集，以形成受损子图\widetilde{G_k}。然后每个客户端训练一个由\theta _d参数化的预测器和一个由\theta _f参数化的编码器（例如GCN），前者用于预测\widetilde{G_k}中每个节点的隐藏邻居数量\widetilde{n_i}，后者用于通过最小化损失来预测隐藏邻居的特征。

 其中L^d和L^f分别是隐藏邻居的预测数量及其预测特征的损失函数。

3.2 重叠实例对齐

在应用程序中，一个实例可以属于多个客户端。来自不同客户端的重叠实例的嵌入可能来自协作训练期间的不同嵌入空间。重叠实例对齐的关键思想是通过在客户端本地实例嵌入的基础上学习全局嵌入。

基于齐次图的对齐：现有工作主要是在纵向联邦学习下进行的。一种情况是，一组节点位于所有客户端上，但他们的特征和关系在客户端之间不同。中央服务器可以从客户端收集本地节点嵌入并对齐重叠的节点嵌入。另外一种情况是，一个客户端只包含图数据的结构信息，而其他客户端只包含节点特征。可以通过在联邦优化过程中同时保护结构信息和原始节点特征来处理这个问题。

基于KG的对齐：每个客户端拥有一个KG，并且每个KG可能具有也存在于其他客户端上的重叠实体。在每一轮通信之后，服务器从每个客户端收集每个局部嵌入矩阵以更新全局嵌入矩阵。然后，服务器将全局嵌入分发给相应的客户端，用于随后的本地训练。

基于用户项目图的对齐

3.3 非独立同分布数据适配

每个客户端上的数据分布可能在节点特征和图结构方面存在很大差异。这种数据异构型会导致严重的模型差异，从而减低全局模型的性能。现有技术分为基于全局模型的单一方法和基于个性化模型的方法。

3.3.3 基于单一全局模型的方法

基于单一全局模型的方法的目标是在来自客户端的图数据上训练全局图机器学习模型。

设计损失函数：1、为局部损失函数添加正则化项。2、实例重加权（最小化局部模型和全局模型之间的损失差异）

联邦学习模型聚合重新加权：在联邦学习的聚合过程中重新加权局部模型，例如在模型聚合阶段为每个客户端的模型参数分配自适应权重。

模型插值：客户端的局部模型是由其上一轮的局部模型和当前轮次全局模型组合得到的。

3.3.2 基于个性化模型的方法

与训练单个全局图机器学习模型不同，该方法旨在为每个客户端训练一个个性化的、量身定制的图机器学习模型。

客户端聚类：将具有相似数据分布的客户端放在一个组中，组中的客户端共享相同的模型参数。

四、结构化联邦学习（Structured FL）

在现实世界中，客户端可能与其他人有连接，例如，存在于交通传感器之间的道路路径。这些连接通常包含客户端之间的丰富信息（例如，数据分布的相似性）。考虑到这些连接，客户端可以形成一个客户端图。结构化联邦学习考虑客户端图，并使客户端能够从其邻居获得信息。

4.1 集中式聚合

中央服务器类似于标准联邦学习中，从客户端收集参数。然后通过基于客户端图G^c的图机器学习模型更新每个客户端的参数。最后将更新后的参数发送回客户端。

传输模型参数：将本地模型参数作为图机器学习模型的输入传输到中央服务器。

传输嵌入：服务器收集每个客户端的本地嵌入，并通过图机器学习模型计算全局嵌入。

4.2 全分散传输

以完全去中心化的方式训练模型，以减少高额的通信成本。每个客户端从其邻居接收模型参数后，执行GNN聚合以更新其本地模型参数，让每个客户端直接汇总来自其相邻客户端的模型参数。然而这种方法会导致丢失每个客户端的本地信息，因为更新后的模型完全由相邻信息决定。可以通过在聚合过程中涉及本地信息的方式来缓解，例如在聚合过程中直接添加局部梯度。

参考文献：[1] Fu X, Zhang B, Dong Y, et al. Federated graph machine learning: A survey of concepts, techniques, and applications[J]. ACM SIGKDD Explorations Newsletter, 2022, 24(2): 32-47.

大菠菠菠萝
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
联邦学习算法综述
01-20
然后基于机器学习和深度学习对目前各类联邦学习算法进行分类比较和深入分析；最后分别从通信成本、客户端选择、聚合方式优化的角度对联邦学习优化算法进行分类，总结了联邦学习的研究现状，并提出了联邦学习面临的...
图联邦学习（Federated Graph Learning）
weixin_44458771的博客
02-15 6156
联邦学习（Federated Learning, FL）是一种分布式学习方案，通过多个参与方（即客户端）协作训练一个模型而无需共享他们的隐私数据，以解决数据隔离问题。图联邦学习(Federated Graph Learning，FGL)是联邦学习在图数据上的应用，通过以联邦方式训练图神经网络，来解决图数据隐私保护的问题。
联邦学习是什么？联邦学习简介
热门推荐
qq_45523675的博客
11-15 1万+
在大多数情况下，数据分散的保存在各个企业手中，而各个企业希望在不公开自己数据的情况下，联合其他企业（利用各个企业所持有的数据）一起训练一个模型，该模型能够帮助企业获取更大的利益。对于收集零散的数据，传统的方法是通过搭建一个数据中心，在数据中心对模型进行训练，但随着越来越多的法律限制加上数据拥有者不愿意透露自己的数据，这种方法已经渐渐行不通了。定义：联邦学习（federated learning），全称联邦机器学习（federated machine learning），为了解决联合训练模型时的隐私问题，提出
推荐开源项目：FedProx - 分布式机器学习的新里程碑
最新发布
gitblog_00035的博客
04-15 326
推荐开源项目：FedProx - 分布式机器学习的新里程碑 项目地址:https://gitcode.com/litian96/FedProx 项目简介 FedProx 是一个专为联邦学习（Federated Learning）设计的优化算法框架。它旨在解决在分布式环境中进行模型训练时的数据非同分布问题，以实现更高效、更稳定的学习性能。通过引入局部 prox 操作，FedProx 可以在保证全局一...
联邦学习前沿 | 基于图神经网络的联邦推荐系统研究
OpenMpc的博客
07-18 2521
最后，将用户客户端上的用户embedding上传到学习服务器，用于提供个性化服务。这篇文章的主要工作是提出了FedPerGNN框架，这是一个致力于推荐系统隐私保护的个性化联邦学习框架，旨在通过以隐私保护的方式利用高阶交互信息，在去中心化的用户数据上联合训练GNN模型。无数的研究成果充分证明图神经网络应用于推荐系统上的优越性，以联邦学习为代表的隐私计算技术体系正在快速建立并广泛应用于中心化的模型训练场景，但这两者的交叉结合研究从论文发表的情况来看才刚刚起步，截止目前包括预印本文章在内的公开文章不足40篇。..
联邦机器学习 Federated Machine Learning
Zhuoning Guo's Blog
06-02 2348
联邦机器学习又名联邦学习，联合学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。
机器学习之联邦学习
guguo666的博客
06-13 3233
无
【论文导读】- FederatedScope-GNN（FederatedScope-GNN：迈向统一、全面、高效的联邦图学习包）
1+1=王的博客
10-19 1万+
联邦学习( FL )的惊人发展使计算机视觉和自然语言处理领域的各种任务受益，TFF和FATE等现有框架使其在实际应用中易于部署。然而，尽管图数据是普遍的，联邦图学习(FGL )由于其独特的特点和要求，没有得到很好的支持。FGL相关框架的缺乏增加了在实际应用中实现可重复研究和部署的努力。
可信机器学习的公平性综述.pdf
09-24
可信机器学习的公平性综述 可信机器学习是人工智能领域的热门研究方向之一，而公平性是可信机器学习的重要考量。公平性旨在研究机器学习算法决策对个人或群体不存在因其固有或后天属性所引起的偏见或偏爱。 在机器...
机器学习的隐私保护研究综述.pdf
09-24
机器学习隐私保护研究综述 机器学习是当今人工智能领域最热门的研究方向之一，而随着机器学习技术的发展和应用，隐私保护问题也日益受到关注。机器学习的隐私保护研究综述旨在总结机器学习领域中隐私保护的最新研究...
联邦学习隐私保护机制综述1
08-04
联邦学习是一种创新的分布式机器学习方法，旨在解决数据孤岛问题并保护用户隐私。随着大数据时代的发展，数据安全和隐私保护成为了重要的议题。传统的集中式机器学习模型要求将所有数据集中到一个中心节点进行训练，...
联邦学习隐私保护机制综述0.21
08-08
的隐私保护机制进行了深入探讨，旨在揭示如何在保持数据安全的同时推进分布式机器学习的发展。联邦学习的核心在于允许各个参与方在本地训练模型，只共享模型的更新信息，而不是原始数据，以此来保护用户隐私。 首先...
联邦学习基础介绍
weixin_44458771的博客
09-19 4510
联邦学习（Federated Learning）是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，不需要交换本地数据，仅通过交换模型参数或中间结果来构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。
联邦学习
datacreating的博客
12-02 4384
“联邦学习（Federated Learning）”作为一种加密的分布式机器学习范式，可以使得各方在不披露原始数据的情况下达到共建模型的目的，即在不违反数据隐私保护法规的前提下，连接数据孤岛，建立性能卓越的共有模型。
联邦图神经网络：概述、技术和挑战
sinat_38007523的博客
05-24 1350
图神经网络以其处理实际应用中广泛存在的图形数据的强大能力，受到了广泛的研究关注。然而，随着社会越来越关注数据隐私，GNN需要适应这种新常态。这导致了近年来联邦图神经网络（FedGNNs）研究的快速发展。虽然有前途，这个跨学科的领域是非常具有挑战性的感兴趣的研究人员进入。缺乏对这一主题的深入调查只会加剧这一问题。在本文中，我们弥合这一差距，提供了一个全面的调查这一新兴领域。我们提出了一个独特的3层分类FedGNNs文献提供了一个清晰的视图GNNs如何在联邦学习（FL）的背景下工作。
【论文导读】- Cluster-driven Graph Federated Learning over Multiple Domains（聚类驱动的图联邦学习）
1+1=王的博客
12-21 8620
文章目录论文信息摘要主要贡献聚类驱动的图联邦学习问题定义联邦聚类聚类模型聚类模型的联系FedCG框架 论文信息 Cluster-driven Graph Federated Learning over Multiple Domains 原文链接：Cluster-driven Graph Federated Learning over Multiple Domains：https://openaccess.thecvf.com/content/CVPR2021W/LLID/papers/Caldarola
联邦学习的架构思想
ZJQ的博客
06-28 854
联邦学习系统客户端/服务器架构 当参与方不少于两个时，启动联邦学习过程。在正式开始训练之前， 中央服务器先将初始模型分发给各参与方 然后各参与方根据本地数据集分别对所得模型进行训练 各参与方将本地训练得到的模型参数加密上传至中央服务器 中央服务器对所有模型梯度进行聚合，再将聚合后的全局模型参数加密传回至各参与方
论文笔记：联邦学习——Federated Learning: Challenges, Methods, and Future Directions
liuzeyao_Newton的博客
09-27 2500
在本文中，我们概述了联邦学习，这是一种在分布式网络边缘训练统计模型的学习范式。与传统的分布式数据中心计算和经典的隐私保护学习相比，我们讨论了联邦学习的独特性质和相关的挑战。我们提供了一个关于经典结果的广泛调查，以及最近专门针对联邦设置的工作。最后，我们概述了一些值得进一步研究的开放性问题。为这些问题提供解决方案将需要广泛的研究团体跨学科的努力。
联邦学习概述与现状
Cheney的博客
08-17 2662
联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。谷歌在2016年提出了针对手机终端的联邦学习,微众银行AI团队则从金融行业实践出发,关注跨机构跨组织的大数据
机器学习和联邦学习区别
08-14
### 回答1： 机器学习是一种技术，它通过让计算机自动的从数据中学习规律和模式，从而让计算机能够完成复杂的任务。联邦学习是一种机器学习的方法，它允许不同的设备在不共享数据的情况下进行协作学习。简单来说，机器学习是一个更加广泛的领域，而联邦学习是机器学习中的一种特殊方法。在传统的机器学习中，数据通常是集中存储在一个地方，而在联邦学习中，数据分散在不同的设备上，这些设备可以在不泄露真实数据的情况下共同进行模型的训练。 ### 回答2： 机器学习(Machine Learning)和联邦学习(Federated Learning)是两个不同的概念和方法。 机器学习是一种通过使用算法和模型，使计算机系统可以从数据中学习并进行预测、决策或识别的技术。它通常是在一个集中的中央服务器或云平台上进行的，其中数据被集中存储和处理。机器学习算法会在集中数据集上进行训练，以生成一个适合用于预测或分类的模型。然后，该模型可以用来对新的数据进行预测或决策。 而联邦学习是一种分布式机器学习方法，它允许在不共享原始数据的情况下进行模型训练。在联邦学习中，数据存储在不同的本地设备或边缘设备上，例如智能手机或传感器。这些设备通过与中央服务器或云平台进行通信，共同进行模型训练。在训练过程中，每个本地设备只分享自己的模型更新而不是原始数据。中央服务器将这些模型更新加权聚合，生成一个全局模型，然后将更新后的全局模型发送回参与训练的各个本地设备。这个迭代过程在多个轮次中进行，直到全局模型达到满意的性能。 总结来说，机器学习是一个集中式的学习方法，数据被集中存储和处理，而联邦学习是一种分布式的学习方法，允许在保护数据隐私的情况下进行模型训练。联邦学习适用于需要在本地设备上进行学习的场景，例如个人设备上的智能应用或边缘计算环境。相比之下，机器学习更适用于中央服务器或云平台上能够集中访问和处理数据的场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值