【论文代码】Federated learning benchmark LEAF详解（一）

最新推荐文章于 2024-08-04 16:39:39 发布
最新推荐文章于 2024-08-04 16:39:39 发布
阅读量989 收藏 8
点赞数 1
分类专栏： 联邦学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/erquechengxuyuan/article/details/128718303
版权

LEAF : A Benchmark for Federated Settings

LEAF 是联邦设置中的一个基准框架，适用于联邦学习、元学习、多任务学习和在设备上学习

一、数据集

首先介绍LEAF中涉及的数据集：
FEMNIST：用于图像分类
在这里插入图片描述
Shakespeare：下一个字符预测
在这里插入图片描述
Twitter：用于情感分析
在这里插入图片描述
Celeba：图像分类
在这里插入图片描述
合成数据：用于分类任务
在这里插入图片描述
Reddit：语言模型
在这里插入图片描述

二、安装

官方说的python环境3.5一下，我直接用的3.8的环境来跑，tensorflow-gpu 2.11.0
然后其他包直接pip install -r requirements.txt

三、使用示例

Twitter Sentiment Analysis

研究在使用 LEAF 框架下用 FedAvg 算法进行训练时，改变每个用户（用于训练）的最小样本数对模型准确性的影响。使用 Sentiment140 数据集（包含 160 万条推文），训练一个具有交叉熵损失的 2 层 LSTM 模型，并使用预训练的 GloVe 嵌入。

可以使用官方提供的脚本直接执行：leaf/paper_experiments $> ./sent140.sh
执行命令：sh sent140.sh
该脚本用于针对不同的最小样本计数执行实验，

先决条件
由于此实验需要预训练的词嵌入，所以建议运行 models/sent140/get_embs.sh 文件，该文件获取 300 维的预训练 GloVe 向量
执行命令：sh get_embs.sh
运行完之后，数据存储在 models/sent140/embs.json
![在这里插入图片描述](https://img-blog.csdnimg.cn/b8f1d5165fd547f984d69fe2bd811fed.png

数据集获取和预处理
LEAF 包含强大的脚本，用于获取数据并将其转换为 JSON 格式以便于使用。此外，这些脚本还能够从数据集中进行子采样，并将数据集拆分为训练集和测试集。
对于paper中的实验，作为第一步，我们将在 80-20 的训练/测试拆分中使用 50% 的数据集，并且我们将丢弃所有推文少于 10 条的用户。以下命令显示了如何完成此操作（本例中的 --spltseed 标志用于启用数据集的可重现生成）leaf/data/sent140/ $> ./preprocess.sh

sh preprocess.sh --sf 0.5 -t sample -s niid --tf 0.8 -k 3 --spltseed 1549775860

运行此脚本后，data/sent140/data 目录应包含 train/ 和 test/ 目录
在这里插入图片描述

执行模型
模型存放在 models/sent140/stacked_lstm.py，为了使用 FedAvg 训练这个模型，每轮有 2 个客户端，持续 10 轮，我们执行以下命令：leaf/models $>下

python main.py -dataset sent140 -model stacked_lstm -lr 0.0003 --clients-per-round 2 --num-rounds 10

或者，传递 -t small 代替后两个标志可提供相同的功能（如 models/baseline_constants.py 文件中所定义）。
全部的训练过程没有跑完，由于没有用GPU来进行训练，所以速度比较慢些
在这里插入图片描述

收集指标
执行上述命令会将系统和统计指标写入 leaf/models/metrics/stat_metrics.csv 和 leaf/models/metrics/sys_metrics.csv - 因为每次运行都会覆盖这些指标，所以强烈建议将生成的指标文件存储在不同的位置。
要试验不同的最小样本设置，使用不同的 -k 标志重新运行预处理脚本。可以使用存储库根目录中的 plots.py 文件生成下面显示的图。（不过这个代码没有找到）

结果与分析
执行此实验后，我们看到，虽然中位数性能仅随着数据不足的用户（即 k = 3）略有下降，但第 25 个百分位数（框底部）会急剧下降。
官方图：
在这里插入图片描述

TensorFlow 1.0和TensorFlow 2.0产生的冲突
① module ‘tensorflow‘ has no attribute ‘set_random_seed‘
解决：将tf.set_random_seed（1）替换为 tf.random.set_seed(1)
② from tensorflow.contrib import rnn 时 No module named ‘tensorflow.contrib’
解决：改为 from tensorflow.python.ops import rnn
③ module ‘tensorflow‘ has no attribute ‘logging‘
解决：将tf.logging替换成tf.compat.v1.logging
④ module ‘tensorflow’ has no attribute ‘reset_default_graph’
解决：tf.reset_default_graph() --------> tf.compat.v1.reset_default_graph()
⑤ module ‘tensorflow’ has no attribute ‘set_random_seed’
module ‘tensorflow’ has no attribute ‘placeholder’
该类解决方法全部参考④
⑥module ‘tensorflow.python.ops.rnn’ has no attribute ‘MultiRNNCell’
解决：改为 tf.compat.v1.nn.rnn_cell.MultiRNNCell
module ‘tensorflow.python.ops.rnn’ has no attribute ‘BasicLSTMCell’
解决：改为 tf.compat.v1.nn.rnn_cell.BasicLSTMCell
module ‘tensorflow._api.v2.nn’ has no attribute ‘softmax_cross_entropy_with_logits_v2’
解决：改为tf.compat.v1.nn.softmax_cross_entropy_with_logits_v2

Federated learning 框架——leaf 探坑记录
01-20
leaf是一个联邦学习的框架，来自CMU，官网：https://leaf.cmu.edu/build/html/index.html      Github：https://github.com/TalwalkarLab/leaf/pulls 1、安装与配置环境 首先要在Github上下载leaf，之后安装 requirements.txt 中列出的 libraries。 这里面有几个坑：1、要用 pip3 下载，否则 tensorflow 可能出现空包 2、目前tensorflow发行了2.0系列的版本，但是leaf是用tensorflow1.x系列的语法写的，也就是说，需要修改requir
【论文代码】Federated learning benchmark LEAF详解（二）
erquechengxuyuan的博客
01-20 344
LEAF : A Benchmark for Federated Settings
【论文导读】LEAF: A Benchmark for Federated Settings
erquechengxuyuan的博客
01-17 525
LEAF: A Benchmark for Federated Settings
LEAF: 联邦学习基准测试平台
gitblog_00063的博客
04-04 384
LEAF: 联邦学习基准测试平台 leaf Leaf: A Benchmark for Federated Settings 项目地址: https://gitcode.com/gh_mirrors/leaf2/leaf ...
LEAF：一个联邦学习的基准数据集
watqw的博客
04-25 3406
LEAF提供了几个联邦学习的数据集，及简单的联邦学习例子，使用的算法是联邦平均算法，其代码是用python写的，机器学习的框架是tensorflow，所以如果要跑上面的例子，注意需要安装的环境，里面有个requirements.txt列出了要下载的python包。其地址为 https://talwalkarlab.github.io/leaf/ 目前有6个数据集，可以选择是否切分为独立同分布（iid）。 1、FEMNIST 一个图像分类的数据集，识别英文字母和数字。有3550个用户，总共805263个样
Federated Learning（上）——联邦学习资料汇总
happyhuidi的博客
10-22 3128
1.联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何？ 2.各位大佬觉得联邦学习可以研究的问题有些什么 小白了解一下这个水深不深? 3.没有领域和算法限制，联邦学习是打破数据孤岛的利器 4.【科普】数据不出本地，AI更强力？这一篇告诉你啥是联邦学习 5.AI与数据隐私保护：“联邦学习”的破解之道 6.联邦学习Inside: 蚂蚁金服共享...
联邦学习入门
xys430381_1的专栏
11-30 489
Qiang Yang, 2019. Federated Machine Learning: Concept and Applications. 联邦学习开源框架FATE研究—入门简介（微众银行开源产品） 联邦学习开源框架FATE研究–使用PyCharm开发和调试 联邦学习 OR 迁移学习？No，我们需要联邦迁移学习 当传统联邦学习面临异构性挑战，不妨尝试这些个性化联邦学习算法 ...
只看这三点就够：快速了解联邦学习框架！
JDDTechTalk的博客
11-16 5419
近年来，联邦学习(Federated Learning)井喷式的概念性文章层出不穷，当联邦学习的理念已经逐渐被行业认可到加以重视，从理论走向实践便是一条需要快马加鞭之路。 联邦学习其核心就是一个分布式的机器学习。通过传参数，不上传数据的方式做分布式的机器学习，相较于传统分布式机器学习，其实现了数据隐私保护。通过整合各个节点上的参数, 不同的设备可以在保持设备中大部分数据的同时，实现模型训练更新。当前市场上已经出现了一些联邦学习框架，但能真正用于实际生产的屈指可数。正是因为联邦学习涉及的技术领域之多，并且需要
常见用于联邦学习的数据集【FL】【Datasets】
最新发布
eternity_memory的博客
08-04 942
每个文件存储了一部分训练数据，共5个批次（batches），每个批次包含了 10,000 张 32x32 像素的彩色图像。这是一个与MNIST类似的图像数据集，但包含了各种时尚产品的图像，用于服装分类任务。：文件还包含了每个类别的索引，这些索引与训练数据和测试数据中的标签值相对应。：文件中包含了数据集中所有类别的名称。这些名称对应于图像数据中的标签，帮助将模型预测的数字标签与实际类别名称进行匹配。：CIFAR-10包含60,000张32x32像素的彩色图像，分为10个类别，每个类别有6,000张图像。
federated-learning
05-03
联合学习 联合学习是机器学习的一个新领域，其中培训过程分布在许多用户中。 用户不必共享数据，而只需要向服务器提供体重更新。 该存储库包含与我在Mozilla上运行的与联合学习相关的实验和模拟的代码。 可以在上找到有关在Mozilla上使用联合学习计划的更多信息。 这些实验的结果将成为我硕士论文实验部分的基础。 组件 data ：用于加载或生成数据集的函数 utils ：通用辅助函数或类 optimizers ：决定如何将更新应用于模型的类 simulations ：连接所有内容的该存储库的主要部分 模拟 频率（/） 参考 解释了联合学习背后的概念 （客户端代码） （有点过时）
UCI Folio Leaf 数据集数据集
07-05
UCI Folio Leaf 是不同种类树叶的图片数据集，包含 32 中不同的树叶种类，每类 20 张左右的图像。
Leaf Type Detection 叶型检测-数据集
03-12
创建检测模型以帮助农业生产！ Leaf Type Detection_datasets.txt Leaf Type Detection_datasets.zip
Leaf Classification 叶分类-数据集
03-04
这个数据集的目的是使用二元叶片图像和提取的特征（包括形状，边缘和纹理）来准确识别99种植物。叶片由于其体积，流行率和独特的特性，是区分植物物种的有效手段。它们还提供了一个有趣的介绍，介绍如何应用涉及到基于图像的特性的技术。第一步，尝试构建一个使用预先提取的特征的分类器。接下来，尝试创建一组自己的功能。最后，检查您所犯的错误，并查看可以做些什么来改进。 Leaf Classification_datasets.txt
Federated Learning 入门论文整理.doc
03-10
联邦学习（Federated Learning，FL）是一种新兴的机器学习技术，旨在解决数据隐私和数据孤岛问题。在传统的机器学习模式中，数据通常需要集中到一个中心节点进行训练，但这种方式往往违背了用户隐私和数据保护法规。...
论文笔记-FedGraphNN: A Federated Learning Benchmark System for Graph Neural Networks
weixin_37390905的博客
06-09 755
GNN已经在业界有了很广泛的应用且很多领域已有SOTA的效果，但是在隐私安全日渐趋严的背景下，如何通过FL实现gnn的跨域联邦学习是一个有益的结合，本文通过联邦环境下对于Graph数据的如何在不同domain集群下进行训练，包括邻居采样、聚合和梯度回传等提出了一套完整的方案，并开源相关实现框架...
Federated Learning原理与代码实例讲解
AI天才研究院
06-08 642
1. 背景介绍 随着人工智能技术的不断发展，越来越多的数据被用于训练机器学习模型。然而，由于数据隐私和安全等问题，许多数据无法被集中到一个中心化的服务器上进行训练。为了解决这个问题，Google在2017年提出了一种新的机器学习方法——Federated Learning（联邦学习），它可以在不暴露用户数据的情况下进行模型训练。 Fed
Advances and Open Problems in Federated Learning.pdf
05-13
Advances and Open Problems in Federated Learning。Federated learning (FL) is a machine learning setting where many clients (e.g. mobile devices or whole organizations) collaboratively train a model ...
Federated Learning 联邦学习概述及最新工作
Always_ease的博客
06-15 1550
一、目前主流的联邦学习应用场景 Cross-silo FL Cross-device FL Setting Training a model on siloed data. Clients are from different organizations (e.g. medical or financial) or geo-distributed datacenters. The cli.
federated learning实现代码
03-16
Federated learning是一种分布式机器学习方法，它允许在不共享数据的情况下训练模型。以下是一个简单的Python代码示例，用于实现基本的federated learning： 1. 客户端代码： ```python import tensorflow as tf import numpy as np # 加载本地数据 def load_data(): # 加载本地数据 return x_train, y_train # 定义客户端模型 def create_model(): model = tf.keras.models.Sequential([ tf.keras.layers.Dense(10, activation='relu', input_shape=(784,)), tf.keras.layers.Dense(10, activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) return model # 客户端训练 def train_client(model, x_train, y_train): model.fit(x_train, y_train, epochs=5, batch_size=32) return model # 客户端评估 def evaluate_client(model, x_test, y_test): loss, acc = model.evaluate(x_test, y_test) return acc # 加载本地数据 x_train, y_train = load_data() # 创建客户端模型 model = create_model() # 客户端训练 model = train_client(model, x_train, y_train) # 客户端评估 acc = evaluate_client(model, x_test, y_test) # 将模型上传到服务器 model_weights = model.get_weights() ``` 2. 服务器代码： ```python import tensorflow as tf import numpy as np # 加载本地数据 def load_data(): # 加载本地数据 return x_test, y_test # 定义全局模型 def create_global_model(): model = tf.keras.models.Sequential([ tf.keras.layers.Dense(10, activation='relu', input_shape=(784,)), tf.keras.layers.Dense(10, activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) return model # 更新全局模型 def update_global_model(global_model, client_models): # 计算客户端模型的平均权重 client_weights = [model.get_weights() for model in client_models] avg_weights = np.mean(client_weights, axis=) # 更新全局模型的权重 global_model.set_weights(avg_weights) return global_model # 评估全局模型 def evaluate_global_model(global_model, x_test, y_test): loss, acc = global_model.evaluate(x_test, y_test) return acc # 加载本地数据 x_test, y_test = load_data() # 创建全局模型 global_model = create_global_model() # 更新全局模型 global_model = update_global_model(global_model, client_models) # 评估全局模型 acc = evaluate_global_model(global_model, x_test, y_test) ``` 这是一个非常简单的federated learning实现，它只涉及一个客户端和一个服务器。在实际应用中，可能会涉及多个客户端和多个服务器，以及更复杂的模型和训练过程。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值