翻译--ASYNCHRONOUS FEDERATED LEARNING IN PYSYFT(PYSYFT中的异步联邦学习)

最新推荐文章于 2024-08-18 10:20:08 发布
最新推荐文章于 2024-08-18 10:20:08 发布
阅读量1.2k 收藏 9
点赞数 1
分类专栏： OpenMined 隐私计算 大数据
原文链接：https://blog.openmined.org/asynchronous-federated-learning-in-pysyft/
版权
大数据 同时被 3 个专栏收录
49 篇文章 0 订阅
订阅专栏
隐私计算
27 篇文章 7 订阅
订阅专栏
OpenMined
11 篇文章 12 订阅
订阅专栏

在这篇文章中，我们提供了使用PySyft应用联邦学习的展示。PySyft是一个开源python库，用于从OpenMined社区进行安全和私有的深度学习。它将私人数据与模型训练分离。

在联邦学习中，每个边缘设备都处理自己的数据以进行训练，避免将其发送给另一个实体，从而保护了隐私。此外，训练阶段的主要处理工作是在设备上完成的，因此与在数据中心进行训练相比，减少了必要的带宽和数据处理。所有设备都可以通过组合其AI模型相互学习，这可以由可以放置在云中或边缘的中央协调节点完成。由于从设备发出的信息是最终的AI模型更新，因此泄漏用户数据的风险很低。像技术安全的聚集和差分隐私有助于提高隐私。

在此示例中，训练将在不同的边缘设备上执行。在我们的实验室中，我们为此使用了Nvidia Jetson Tx2设备。训练任务是MNIST数据集上的图像分类任务，其中包含0-9范围内的手写数字图像。训练数据集的样本以这样一种方式分配给三个工作人员（分别称为Alice，Bob和Charlie），即每个设备只能看到一定范围的数字，并且只能使用这些数字来训练模型。由于结合了学习，即使在每个训练步骤中只有一部分数字可用，最终获得的模型仍将能够识别所有数字。

架构

 

 

协调节点
协调节点是将与工作节点进行沟通并协调联邦训练的实例。它从每个工作人员那里接收本地更新，并平均模型的权重，并使用生成的平均（组合）模型更新工作人员。
它还创建websocket客户端实例，这些实例连接到在工作程序和评估程序上启动的websocket服务器。

工作节点
工作节点是训练数据（一部分数字）的一部分的所有者，他们在本地训练模型并将更新发送给协调节点。
他们启动一个websocket服务器并等待连接。

评估程序评估程序
保存MNIST数据集的测试数据集，并带有所有数字的表示形式。它负责定期评估经过训练的模型，不执行任何训练。

当开始训练参与者Alice，Bob，Charlie和Testing（评估者）时，他们将打印可用数字的计数，请参见下面的输出。第一个输出是来自工作人员Alice的，显示它有5923个数字0的示例，6742个数字1的示例...，而没有4-9的数字示例。Alice上可用的示例总数为24754个示例。

$ python run_websocket_server.py --id alice --port 8777 --host 0.0.0.0
MNIST dataset (train set), available numbers on alice:
      0: 5923
      1: 6742
      2: 5958
      3: 6131
      4: 0
      5: 0
      6: 0
      7: 0
      8: 0
      9: 0
datasets: {'mnist': <syft.frameworks.torch.federated.dataset.BaseDataset object at 0x7fdbcd433748>}
len(datasets[mnist]): 24754

Bob的输出显示它总共有17181个示例，所有示例都显示数字4-6，而0-3和7-9范围内没有数字。

$ python run_websocket_server.py --id bob --port 8778 --host 0.0.0.0
MNIST dataset (train set), available numbers on bob:
      0: 0
      1: 0
      2: 0
      3: 0
      4: 5842
      5: 5421
      6: 5918
      7: 0
      8: 0
      9: 0
datasets: {'mnist': <syft.frameworks.torch.federated.dataset.BaseDataset object at 0x7fea69678748>}
len(datasets[mnist]): 17181

charlie的输出显示它只有7-9位数字，总共有18065个示例。

$ python run_websocket_server.py --id charlie --port 8779 --host 0.0.0.0
MNIST dataset (train set), available numbers on charlie:
      0: 0
      1: 0
      2: 0
      3: 0
      4: 0
      5: 0
      6: 0
      7: 6265
      8: 5851
      9: 5949
datasets: {'mnist': <syft.frameworks.torch.federated.dataset.BaseDataset object at 0x7f3c6200c748>}
len(datasets[mnist]): 18065

最终，评估者拥有MNIST数据集的测试集。它包含10000个示例，分布在所有数字0-9之间。

$ python run_websocket_server.py --id testing --port 8780 --host 0.0.0.0 --testing
MNIST dataset (test set), available numbers on testing:
      0: 980
      1: 1135
      2: 1032
      3: 1010
      4: 982
      5: 892
      6: 958
      7: 1028
      8: 974
      9: 1009
datasets: {'mnist_testing': <syft.frameworks.torch.federated.dataset.BaseDataset object at 0x7f3e5846a6a0>}

训练

现在让我们开始异步联邦训练。为此，协调节点创建了到每个工作人员和评估者的Websocket连接。

然后创建一个模型，在我们的示例中是一个具有2个卷积层和2个完全连接层的神经网络。该模型开始时完全未经训练，具有随机权重值。

然后，演示通过执行40次训练回合来获得训练过的模型。

一轮训练包含以下步骤：

  • 将模型和训练配置发送给每个工作节点
  • 并行地，每个工作节点根据训练配置（优化器，损失函数，训练的时期/批次，批次大小等）在其私有数据上训练模型。
  • 工作节点完成训练后，会将改进后的模型发送回协调节点
  • 协调节点等待所有改进的模型，一旦获得它们，它将对模型执行联合平均，以获得一个改进的组合模型。改进后的模型将发送给工作节点进行下一轮训练。

每十轮训练将模型（以及工作节点返回的单个模型）发送给评估者。评估人员可以预测测试数据集的目标，并计算准确性和平均损失。

出于演示目的，评估器还显示了模型返回的不同数字的百分比。这样做的目的是表明，工作节点返回的第一个模型只会返回他们在本地可用于训练的数字。然而，经过一些迭代后，组合模型以及工作人员返回的各个模型都将预测所有数字。

输出示例如下所示。它显示了训练如何进行40轮训练，并在第1、11、21、31和40轮之后评估了模型。在第1轮之后的评估表明，Alice，Bob和Charlie的每个模型都将测试数据集的所有数字分类为如果仅包含其数字子集。爱丽丝将测试数据集的所有数字分类为数字0-3（如下所示的百分比100％），总精度为28.75％。爱丽丝的模型比鲍勃和查理的模型表现更好。这是因为Alice有4位数字可供训练，而Bob和Charlie分别有3位数字。

经过40轮训练的联盟模型的准确率达到95.9％。

$ python run_websocket_client.py
Training round 1/40
Evaluating models
Model update alice: Percentage numbers 0-3: 100%, 4-6: 0%, 7-9: 0%
Model update alice: Average loss: 0.0190, Accuracy: 2875/10000 (28.75%)
Model update bob: Percentage numbers 0-3: 0%, 4-6: 100%, 7-9: 0%
Model update bob: Average loss: 0.0275, Accuracy: 958/10000 (9.58%)
Model update charlie: Percentage numbers 0-3: 0%, 4-6: 0%, 7-9: 100%
Model update charlie: Average loss: 0.0225, Accuracy: 1512/10000 (15.12%)
Federated model: Percentage numbers 0-3: 0%, 4-6: 86%, 7-9: 12%
Federated model: Average loss: 0.0179, Accuracy: 1719/10000 (17.19%)
Training round 2/40
Training round 3/40
Training round 4/40
Training round 5/40
Training round 6/40
Training round 7/40
Training round 8/40
Training round 9/40
Training round 10/40
Training round 11/40
Evaluating models
Model update alice: Percentage numbers 0-3: 79%, 4-6: 11%, 7-9: 9%
Model update alice: Average loss: 0.0093, Accuracy: 5747/10000 (57.47%)
Model update bob: Percentage numbers 0-3: 15%, 4-6: 76%, 7-9: 7%
Model update bob: Average loss: 0.0134, Accuracy: 5063/10000 (50.63%)
Model update charlie: Percentage numbers 0-3: 5%, 4-6: 0%, 7-9: 94%
Model update charlie: Average loss: 0.0225, Accuracy: 3267/10000 (32.67%)
Federated model: Percentage numbers 0-3: 40%, 4-6: 22%, 7-9: 36%
Federated model: Average loss: 0.0032, Accuracy: 8693/10000 (86.93%)
Training round 12/40
Training round 13/40
Training round 14/40
Training round 15/40
Training round 16/40
Training round 17/40
Training round 18/40
Training round 19/40
Training round 20/40
Training round 21/40
Evaluating models
Model update alice: Percentage numbers 0-3: 60%, 4-6: 18%, 7-9: 21%
Model update alice: Average loss: 0.0050, Accuracy: 7808/10000 (78.08%)
Model update bob: Percentage numbers 0-3: 31%, 4-6: 54%, 7-9: 14%
Model update bob: Average loss: 0.0069, Accuracy: 7241/10000 (72.41%)
Model update charlie: Percentage numbers 0-3: 21%, 4-6: 6%, 7-9: 72%
Model update charlie: Average loss: 0.0094, Accuracy: 5671/10000 (56.71%)
Federated model: Percentage numbers 0-3: 41%, 4-6: 28%, 7-9: 30%
Federated model: Average loss: 0.0017, Accuracy: 9427/10000 (94.27%)
Training round 22/40
Training round 23/40
Training round 24/40
Training round 25/40
Training round 26/40
Training round 27/40
Training round 28/40
Training round 29/40
Training round 30/40
Training round 31/40
Evaluating models
Model update alice: Percentage numbers 0-3: 59%, 4-6: 21%, 7-9: 19%
Model update alice: Average loss: 0.0044, Accuracy: 8078/10000 (80.78%)
Model update bob: Percentage numbers 0-3: 34%, 4-6: 48%, 7-9: 16%
Model update bob: Average loss: 0.0050, Accuracy: 7755/10000 (77.55%)
Model update charlie: Percentage numbers 0-3: 23%, 4-6: 9%, 7-9: 67%
Model update charlie: Average loss: 0.0124, Accuracy: 6195/10000 (61.95%)
Federated model: Percentage numbers 0-3: 41%, 4-6: 26%, 7-9: 31%
Federated model: Average loss: 0.0014, Accuracy: 9449/10000 (94.49%)
Training round 32/40
Training round 33/40
Training round 34/40
Training round 35/40
Training round 36/40
Training round 37/40
Training round 38/40
Training round 39/40
Training round 40/40
Evaluating models
Model update alice: Percentage numbers 0-3: 56%, 4-6: 23%, 7-9: 20%
Model update alice: Average loss: 0.0041, Accuracy: 8218/10000 (82.18%)
Model update bob: Percentage numbers 0-3: 33%, 4-6: 45%, 7-9: 20%
Model update bob: Average loss: 0.0039, Accuracy: 8155/10000 (81.55%)
Model update charlie: Percentage numbers 0-3: 32%, 4-6: 17%, 7-9: 50%
Model update charlie: Average loss: 0.0047, Accuracy: 7802/10000 (78.02%)
Federated model: Percentage numbers 0-3: 41%, 4-6: 29%, 7-9: 29%
Federated model: Average loss: 0.0011, Accuracy: 9592/10000 (95.92%)

如果您想自己运行代码，可以尝试使用此jupyter笔记本。

何时可以进行联邦学习？

在进行联邦学习时，我们还必须考虑其要求。在数据自然分布并且您无法或不希望将数据集中在一个位置的情况下，它很有用。联邦学习解决了这一需求，并将训练中计算量大的部分移到了资源有限的边缘设备上。尽管每个单独的设备仅负责总工作量的一小部分，但是资源消耗是在每种情况下都必须评估的约束。

我们还必须考虑该体系结构所依赖的沟通渠道，因为工作节点需要在训练阶段与协调节点进行沟通。在不可靠的边缘环境（连接性和安全性是必须解决的挑战）上工作时，这变得更加棘手。  

在Midokura，我们使用边缘虚拟化平台（EVP）照顾部署部分，将AI应用程序组件作为分​​布式体系结构的微服务进行处理，并实现工作负载的垂直放置，以便用户可以设计工作负载的处理位置。该平台负责边缘边缘或边缘云场景的通信通道（联邦学习所依赖），提供灵活的连接性，工作负载优先级（QoS）和安全路径。

结论

我们已经看到了一个示例，该示例说明了如何在边缘设备中使用本地（专用）数据来联合训练神经网络而不将数据发送到中央位置。联邦学习使每个客户端都可以将其数据保存在本地，并通过汇总和平均本地更新来在协调节点上训练共享模型。  

尽管设计涉及中央协调节点，但也可以将其放置在边缘中。请注意，此节点看不到训练数据，只能看到生成的AI模型（或更新）。该中央节点也可以放置在边缘设备之一中，从而无需云实例。

本文翻译自OpenMined官方博客,链接地址：https://blog.openmined.org/asynchronous-federated-learning-in-pysyft/

nanoleak coding
关注
专栏目录
asynchronous online (ASO) federated learning and stochastic gradient push for distributed deep learn
cvb00052的博客
09-14 486
第一篇文章是ASO-Fed 优点：global的训练用上了attention，对模型的第一层用了global feature representation learning。Attention mechanisms have shown to be effective in identifying key features and their representations. 并且由于是asynchronous的，对local server的更新用了decay coefficient，对previous和c
Differentially Private Asynchronous Federated Learning for Mobile Edge Computing in Urban Informatic
Devil_B的博客
05-13 2051
Differentially Private Asynchronous Federated Learning for Mobile Edge Computing in Urban Informatics阅读笔记文献背景及解决问题车联网中的联邦学习具体方案总结与思考 文献背景及解决问题 由于无线网络带宽和计算资源的限制，车辆很难使用大量数据来进行提高服务质量的机器学习，比如自动驾驶和交通预测。本文设计了一种在车联网环境下的联邦学习方案，实现了具有差分隐私的异步联邦学习。 联邦学习在车联网中的挑战： 1.车辆的
asynchronous-federated-learning:联合学习系统上的数据不平衡和异步聚合算法的研究（使用PySyft）
05-04
使用PySyft进行异步FL 我的学士学位项目，满足万隆理工学院的学位要求 塞纳帕蒂·桑·迪旺卡拉（Senapati Sang Diwangkara），13516107 该发表在 这项工作研究了聚合算法中异步性的影响（即，当节点的训练回合/历元不必彼此同步时）。 我尤其对数据不平衡的影响感兴趣。 从直觉上讲，如果我们有一些在两个节点之间划分的正确/错误数据集，但是每个节点仅包含正确或错误数据，并且一个节点比另一个节点快，那么与经过训练的模型相比，训练后的模型应该比模型更差集中训练吧？ 因此，在这里，我们试图定量验证该直觉。 实验架构 客户端在src/client.py中实现。 它将缓冲一些客户端线程以连接到每个服务器，并使用评估程序定期评估最新模型。 每个客户端线程都将使用evaluator_q变量与评估程序进程通信，该变量充当队列。 线程将排队其评估顺序，并且将由评估器进程使用，评
Communication-efficient asynchronous federated learning inresource-constrained edge computing
weixin_42447364的博客
01-15 866
文献来源 Computer Networks journal homepage: www.elsevier.com/locate/comnet 文献作者 Jianchun Liu a, Hongli Xu b,∗, Yang Xu b,∗, Zhenguo Ma b, Zhiyuan Wang b, Chen Qian c, He Huang d 发表日期 2021 一、摘要 联邦学习(FL)已被广泛应用于边缘计算中...
推荐项目：PyGrid - 颠覆性的隐私保护AI训练平台
最新发布
gitblog_01022的博客
08-18 290
推荐项目：PyGrid - 颠覆性的隐私保护AI训练平台 PyGrid-deprecated---see-PySyft-A Peer-to-peer Platform for Secure, Privacy-preserving, Decentralized Data Science项目地址:https://gitcode.com/gh_mirrors/py/PyGrid-deprecated-...
异步联邦学习（Asynchronous Federated Learning, AFL）与智能驾驶相结合
m0_48022770的博客
05-21 368
通过利用异步更新机制，智能驾驶系统能够更及时地响应和适应动态变化的驾驶环境，充分利用分散资源，并提高模型的泛化能力和鲁棒性，从而显著提升智能驾驶的整体性能和用户体验。- **车队管理**：在大规模车队管理中，各车辆可以独立训练和更新模型，系统通过异步机制整合各车的更新，提升车队整体的智能化水平。- **持续学习**：系统能够不断接受新数据和新场景，通过异步更新机制，模型可以持续学习和改进，适应不断变化的驾驶环境。- **差分隐私**：在异步联邦学习过程中，可以结合差分隐私技术，进一步增强数据隐私保护。
异步联邦学习综述Asynchronous Federated Learning on Heterogeneous Devices: ASurvey
weixin_42447364的博客
01-07 9832
目录 一、Introduction 二 、Background Knowledge 2.1 联邦学习 2.2 区块链 2.3 差分隐私 三、设备异质性 3.1 节点选择 3.2 加权聚合 3.3 梯度压缩 3.4 半异步FL 3.5 Cluster FL 3.6 模型分割 liu四、数据异质性 4.1 非独立同分布数据（No-IID） 4.2 数据垂直分布 五、异构设备上的安全和隐私问题 5.1 差分隐私在异构设备上的应用 5.2 区块链在异构设备上的应用 一、Intr
Blockchain Empowered Asynchronous Federated Learning for Secure Data Sharing in IoV
qq_40850994的博客
04-01 1415
1）提出了一种区块链DAG混合模型，它由一个主许可区块链（由路边单元RSU维护）和一个局部有向无环图（由车辆运行，以实现车辆间的数据共享）组成。 2）提出了一种异步联邦学习方案，挑选参与节点来提高效率，节点选择算法。 3）通过将学习的参数整合到区块链模型中，并通过两阶段验证来验证这些参数的质量，从而提高学习模型的可靠性。 引言 IOV中移动车辆产生大量不同的数据：轨迹、交通信息、多媒体信息等附加数据。高效利用数据，提升乘车体验。数据共享面临： 车辆之间的通信不可靠； 安全和隐私。 MEC（多访问边缘计算
2019-高效异步通信聚合-Communication Asynchronous Model Update and Tempor
08-03
2019年的一篇论文提出了“高效异步通信聚合 - Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation”，由Yang Chen, Xiaoyan Sun和Yaochu Jin...
同步联邦学习和异步联邦学习有何区别？
08-08
2. **异步联邦学习** (Asynchronous Federated Learning): 每个设备根据自身进度独立地进行本地训练，然后上传模型更新。中央服务器不必等待所有的更新，而是不断接收并合并新上传的模型。这使得系统更具弹性，但也...
TrisaFed：异步联邦学习框架
weixin_51306020的博客
08-16 2811
AFL在实际应用中更具有普适性，它能适应于设备不断变化（单个设备自身的硬件性能、添加去除设备、多异构设备协同）的现实场景，并极大地提升联邦学习的训练效率。 本文针对异步联邦学习固有的过度拟合、通讯受限、加权聚合等问题，提出了提出TrisaFed，针对三大挑战分别提出应对策略：ICA根据信息型客户端激活策略激活具有丰富信息的客户端、MLU多层更新策略来优化客户端和服务器的交互、时权退减策略（TWF）和丰富权重增强策略（IWE） 增强聚合函数。...
FederatedLearningUsingPysyft
05-04
基于pysyft的联邦学习 前言 联邦学习 联邦学习可以视为一种加密的分布式学习技术，它的核心是分布式学习算法与同态加密。分布式学习算法使得它能够从多方数据源获得模型的更新，同态加密则保证了中间过程的完全隐私性。 这里有一些便于理解的教程： pysyft pysyft是为安全、隐私深度学习而编写的python库，通过对pytorch深度学习框架增加新的特性来进行，它支持联邦学习、差分隐私以及多方计算。该项目由OpenMined负责，DropoutLabs、UDACITY等组织也参与其中的建设，github地址： 关于 本项目由浙江大学VAG的刘同学编写，基于pysyft实现了联邦学习框架下的对MNIST数据集分类任务，主要目的是供小组成员学习参考，代码编写较为规范，拥有良好的可扩展性。 项目组织与说明 |-- checkpoints/ |-- data/ | |-- __init__.py
异步联邦学习-能耗：Energy-Efficient Dynamic Asynchronous Federated Learning in Mobile Edge Computing Networks
CBCY_csdn的博客
11-15 480
为了打破数据孤岛并解决绿色通信的挑战，联邦学习（FL）被广泛应用于移动边缘计算（MEC）网络中，用于在网络边缘训练深度学习模型。然而，许多现有的FL算法并未充分考虑动态环境，导致模型收敛较慢且训练能耗较大。在本文中，我们设计了一个动态异步联邦学习（DAFL）模型，以提高MEC网络中FL的效率。具体而言，我们根据它们的到达顺序动态选择一定数量的移动设备（MDs）参与每个时期的全局聚合。与此同时，我们分析了本地更新和上传更新的能耗模型，并将问题制定为一个NP-hard的动态顺序决策问题，以最小化能耗。
Asynchronous，decentralized，Federated Learning Paper review 8.29
cvb00052的博客
08-29 564
8.29 paper review 推荐FL的survey： Advances and Open Problems in Federated Learning. Machine Learning Meets Computation and Communication Control in Evolving Edge and Cloud: Challenges and Future Perspective。 Convergence of Edge Computing and Deep Learning
【联邦学习论文阅读】（AAAI-2021）Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating
weixin_42567789的博客
04-11 1044
提出一种新颖的融合了反向更新和双层异步并行的垂直联邦学习框架（VFB2），以及在此框架下的 VFB2-SGD，VFB2-SVRG，VFB2-SAGA 三种新算法，助力多方协同训练模型并且不泄漏数据隐私，并在一定程度上破解垂直联邦学习算法不够高效的难点。
Secure Federated Transfer Learning （论文翻译与拓展）
weixin_44774630的博客
08-07 1587
Secure Federated Transfer Learning 安全联邦迁移学习（论文翻译与笔记） ·摘要 机器学习依赖于大量训练数据的可用性。然而，在现实中，大多数数据分散在不同的组织中，无法在许多法律和实际约束下轻松集成。在本文中，我们引入了一种新的技术和框架，称为联邦迁移学习(FTL)，以改进数据联合下的统计模型。该联合允许在不损害用户隐私的情况下共享知识，并允许补充知识在网络中可以传...
异步联邦论文学习--3
qq_45606732的博客
03-11 1775
随着计算能力的快速增长促进了机器学习的蓬勃发展，ML需要大量的高质量数据，但是由于竞争、隐私等因素，行业之间在共享本地数据方面表现出犹豫，导致了数据孤岛的情况，并且从可靠来源收集数据还伴随着高昂的成本。----> FLFL优势：（1） 通过基于梯度的全局模型聚合，增强了对本地数据隐私的保护；（2） 减少了网络传输延迟，因为训练数据保持本地化，而不是传输到云服务器；（3） 由于结合了其他设备的学习特征，提高了模型质量。
论文笔记：联邦学习——Federated Learning: Strategies for Improving Communication Efficiency
liuzeyao_Newton的博客
09-19 2107
介绍联邦学习的思想、算法，说明通信效率的重要性。提出两种降低上行通信成本的方法： structured updates 和 sketched updates
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值