联邦学习框架 FederatedScope（1）快速入门

最新推荐文章于 2024-08-07 09:32:43 发布
最新推荐文章于 2024-08-07 09:32:43 发布
阅读量4.3k 收藏 13
点赞数 10
分类专栏： 人工智能 文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youxing_ling/article/details/126556762
版权
本文介绍了FederatedScope联邦学习框架的基本概念和快速入门步骤，包括下载安装、依赖安装、数据集和模型准备、独立及分布式模式训练。在实践中遇到的坑如文档错误、配置问题等也进行了说明，提供了解决问题的线索。
摘要由CSDN通过智能技术生成

新鲜出炉的框架——两个月，暂时没什么教程，全程跟着官方文档走。

框架与文档可能存在一点小问题，以后肯定会改进，一切以当下事实为准。

文章目录

简介

官网：https://federatedscope.io/

FederatedScope 采用事件驱动的编程范式，用于支持现实场景中联邦学习应用的异步训练，并借鉴分布式机器学习的相关研究成果，集成了异步训练策略来提升训练效率。具体而言，FederatedScope 将联邦学习看成是参与方之间收发消息的过程，通过定义消息类型以及处理消息的行为来描述联邦学习过程。

快速入门

跟着官方教程一步步操作就行， 虽然有坑。。。这里只记录一下注意事项。

下载安装

注意 torch、torchvision、Python 的版本对应（其实不需要管）

torch torchvision python
main / nightly main / nightly >=3.7, <=3.10
1.12.0 0.13.0 >=3.7, <=3.10
1.11.0 0.12.0 >=3.7, <=3.10
1.10.2 0.11.3 >=3.6, <=3.9
1.10.1 0.11.2 >=3.6, <=3.9
1.10.0 0.11.1 >=3.6, <=3.9
1.9.1 0.10.1 >=3.6, <=3.9
1.9.0 0.10.0 >=3.6, <=3.9
1.8.2
最低0.47元/天 解锁文章
游星凌
关注
专栏目录
联邦学习框架FederatedScope环境搭建教程
qq_42045489的博客
09-29 1044
这里主要说一下该框架与其他联邦学习框架有什么区别。本人感觉最主要的区别在于本框架对在联邦学习上的图学习任务有了很好的支持。这里推荐一下原作者介绍该框架的一个视频，如果有小伙伴想对该框架有一个大致的了解的话，建议先看一下这个视频。链接:由于大家基础环境的不同，可能在配置环境的时候会遇到不同的问题，笔者只是把自己在搭建环境过程中遇到的问题筛选掉，然后总结了一个搭建环境的基本流程，希望能帮到大家，遇到问题的话大家乐意评论区留言，或者添加本人QQ1838834500，记得备注“FS”。
探索未来学习方式：FederatedScope 开源平台引领分布式智能新篇章
最新发布
gitblog_00393的博客
08-07 224
探索未来学习方式：FederatedScope 开源平台引领分布式智能新篇章 FederatedScopeAn easy-to-use federated learning platform项目地址:https://gitcode.com/gh_mirrors/fe/FederatedScope 在数字化时代，数据安全和隐私保护日益受到重视。为了解决这些问题并推动协作式机器学习的进步，我们欣喜地...
Alibaba FederatedScope 开源项目安装与使用指南
gitblog_00888的博客
08-07 278
Alibaba FederatedScope 开源项目安装与使用指南 FederatedScopeAn easy-to-use federated learning platform项目地址:https://gitcode.com/gh_mirrors/fe/FederatedScope 目录结构概览 当你克隆或下载 FederatedScope 项目后，你会看到以下主要目录和文件： src...
[联邦学习] 在FederatedScope 查看client和server之间的传递的参数大小（通讯量）
牛呆呆同学的博客
02-14 656
【联邦学习】在FederatedScope 如何查看client/server之间的传递的参数大小（通讯量）？ 对源码的探索记录
【联邦学习论文笔记3】FederatedScope: A Flexible Federated Learning Platform for Heterogeneity
qq_39736373的博客
07-27 3237
结果表明，不同的模糊推理算法适用于不同的模糊推理应用，可能与数据的类型、数据分布的异质性、采用的模型的归纳偏差、抽样的客户端数量等有关，这些在联邦学习中仍然是一个有待解决的问题。提供了ModelZoo来统一FL应用中使用的骨干模型，其中包括广泛使用的模型体系结构，如用于计算机视觉任务的ConvNet和VGG，用于自然语言处理任务的LSTM，以及用于图学习的GNNs、GraphSAGE和GPR-GNN。服务器的聚合器以客户的反馈作为输入(如更新的模型和训练数据的统计数据)，输出聚合后的数据。......
达摩院发布联邦学习框架 FederatedScope（开源）
云布道师
05-09 835
5月5日，阿里巴巴达摩院发布新型联邦学习框架 FederatedScope，并面向全球开发者开源。该框架支持大规模、高效率的联邦学习异步训练，能兼容不同设备运行环境，且提供丰富功能模块，大幅降低了隐私保护计算技术开发与部署难度。 我们先来厘清一个概念：什么是联邦学习？ 联邦学习核心理念是“数据不动模型动”，其通过用户数据不出本地的方式完成云端模型训练，实现了“数据可用不可见”，成为隐私保护计算主流技术之一。 然而，随着应用隐私保护计算的场景和行业日趋多元，涉及的数据类型日趋丰富，已有联邦学习框架难以灵活.
【论文导读】- FederatedScope-GNN（FederatedScope-GNN：迈向统一、全面、高效的联邦图学习包）
热门推荐
1+1=王的博客
10-19 1万+
联邦学习( FL )的惊人发展使计算机视觉和自然语言处理领域的各种任务受益，TFF和FATE等现有框架使其在实际应用中易于部署。然而，尽管图数据是普遍的，联邦图学习(FGL )由于其独特的特点和要求，没有得到很好的支持。FGL相关框架的缺乏增加了在实际应用中实现可重复研究和部署的努力。
毕业设计联邦学习框架下基于Memae的异常检测python源码+运行说明.zip
10-12
毕业设计联邦学习框架下基于Memae的异常检测python源码+运行说明.zip 联邦学习框架下基于Memae的异常检测架构 # 数据集 cifar10 mnist # 模型训练测试命令-cifar10 # cifar10异常检测命令 python main.py --train/...
联邦学习框架下基于Memae的异常检测python源码+运行说明.zip
05-09
联邦学习框架下基于Memae的异常检测架构 数据集 cifar10 mnist 模型训练测试命令-cifar10 cifar10异常检测命令 python main.py --train/test 联邦学习框架 Local-training python main.py --collaborative-...
TFF_联邦_谷歌-联邦学习开源框架_
10-02
谷歌的TensorFlow Federated（TFF）是这个领域的开源框架，它提供了一个强大的平台，使开发者能够实现和研究联邦学习算法。在这个框架下，用户可以编写可部署在分布式环境中的计算逻辑，而无需关注底层的通信和执行...
FedCare
03-27
美联储 该存储库包含论文“ FedCare：迈向FederatedLearning系统性能的交互式诊断”的离线版本代码。 联邦学习系统已经过培训，其数据已预先存储。 安装 该系统由两部分组成：后端服务器和前端接口。 先决条件 Python 3.7以上 节点12.12。* 纱线1.22。* 谷歌浏览器 数据 请下载并将其解压缩到backend /中。 文件夹结构应类似于： backend |-data | |-DIGIT5/ | |-FEMNIST/ | |LeNet-DIGIT5/ | |LeNet-FEMNIST/ 设置后端 将依赖项安装在backend /目录中： cd backend pip install -r requirements.txt 启动后端服务器： Python3 manage.py runserver 默认情况下，服务器在运行。 使用前端界
FederatedScope：打造全栈联邦学习框架的新里程碑
gitblog_00093的博客
04-25 461
FederatedScope：打造全栈联邦学习框架的新里程碑 FederatedScopeAn easy-to-use federated learning platform项目地址:https://gitcode.com/gh_mirrors/fe/FederatedScope 项目简介 是由阿里巴巴开源的一款全栈联邦学习（Federated Learning）框架，旨在简化联邦学习的研发流...
阿里达摩院最新框架FederatedScope来了！让联邦学习从可用到好用
gzq0723的博客
06-04 371
关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式计算机视觉研究院专栏作者：Edison_G刚刚，阿里巴巴达摩院发布新型联邦学习框架 FederatedScope，该框架支持大规模、高效率的联邦学习异步训练，能兼容不同设备运行环境，且提供丰富功能模块，大幅降低了隐私保护计算技术开发与部署难度。该框架现已面向全球...
阿里巴巴开源联邦学习框架FederatedScope
m0_65909361的博客
01-22 971
该平台被描述为一个全面的联邦学习框架，为学术界和工业界的各种机器学习任务提供灵活的定制。它还被声称易于掌握，允许用户集成自己的组件，包括特定应用程序的数据集和模型。联邦学习，顾名思义，是一种跨多个分布式节点或主机训练模型的机器学习技术。每个节点使用本地训练数据，如果模型参数在节点之间共享，而不是原始数据，这意味着数据本身可以保持私有。根据阿里巴巴的说法，由于潜在的隐私问题，收集训练数据来构建和进化机器学习模型越来越受到审查，而联邦学习可以帮助解决其中的一些问题。
FederatedScope 开源项目教程
gitblog_00732的博客
08-07 492
FederatedScope 开源项目教程 FederatedScopeAn easy-to-use federated learning platform项目地址:https://gitcode.com/gh_mirrors/fe/FederatedScope 项目介绍 FederatedScope 是一个灵活的联邦学习平台，旨在为异构场景提供高效的联邦学习解决方案。该项目采用事件驱动架构，使...
联邦EMNIST数据集 (FEMNIST)
jasonso97的博客
01-04 6232
Federated Extended MNIST(FEMNIST) 数据集简介
KDD 2022 | 阿里巴巴获数据科学顶会最佳论文奖
阿里技术
08-19 2886
阿里巴巴获数据科学顶会最佳论文奖
给出一个联邦学习框架代码
05-25
以下是一个基本的联邦学习框架代码： ```python import torch import copy class Server: def __init__(self, model): self.model = model def train(self, clients): # 在训练之前将所有客户端的模型权重复制到服务器端模型 self.aggregate_weights(clients) # 在服务器端训练模型 self.model.train() optimizer = torch.optim.SGD(self.model.parameters(), lr=0.1) criterion = torch.nn.CrossEntropyLoss() for epoch in range(10): for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output = self.model(data) loss = criterion(output, target) loss.backward() optimizer.step() # 将最新的服务器端模型权重发送给所有客户端 self.broadcast_weights(clients) def aggregate_weights(self, clients): # 将所有客户端的模型权重复制到服务器端模型 for client in clients: self.model = copy.deepcopy(client.model) def broadcast_weights(self, clients): # 将最新的服务器端模型权重发送给所有客户端 for client in clients: client.model = copy.deepcopy(self.model) class Client: def __init__(self, model, data): self.model = model self.data = data def train(self): # 在客户端对数据进行训练 self.model.train() optimizer = torch.optim.SGD(self.model.parameters(), lr=0.1) criterion = torch.nn.CrossEntropyLoss() for epoch in range(10): for batch_idx, (data, target) in enumerate(self.data): optimizer.zero_grad() output = self.model(data) loss = criterion(output, target) loss.backward() optimizer.step() ``` 上面的代码展示了一个简单的联邦学习框架，其中有一个服务器端和多个客户端。每个客户端都有自己的数据集和模型，在训练之前，服务器会将所有客户端的模型权重复制到自己的模型上。然后服务器对模型进行训练，最后将最新的模型权重发送给所有客户端。在每个客户端上，会对自己的数据集进行训练，并更新自己的模型。
评论 25
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值