LEAF：一个联邦学习的基准数据集

最新推荐文章于 2025-05-01 01:54:10 发布
最新推荐文章于 2025-05-01 01:54:10 发布
阅读量3.7k 收藏 11
点赞数 1
文章标签： 机器学习 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/watqw/article/details/124415422
版权

LEAF提供了几个联邦学习的数据集，及简单的联邦学习例子，使用的算法是联邦平均算法，其代码是用python写的，机器学习的框架是tensorflow，所以如果要跑上面的例子，注意需要安装的环境，里面有个requirements.txt列出了要下载的python包。其地址为

https://talwalkarlab.github.io/leaf/

目前有6个数据集，可以选择是否切分为独立同分布（iid）。
1、FEMNIST
一个图像分类的数据集，识别英文字母和数字。有3550个用户，总共805263个样本，平均每个用户226.83个样本。
2、Shakespeare
预测下一个字符的语言模型数据集，从莎士比亚的作品全集中采集而来。有1129个用户（一个用户是作品中的一个角色），总共422615个样本。
3、Twitter
在Twitter上采集的数据，用于情感分析。有660120个用户，共1600498个样本。
4、Celeba
是一个带有注释的人脸数据集，可用于图像分类任务的训练。有9343个用户，共200288个样本
5、Synthetic Dataset
分类的一个数据集，有1000个用户，共107553个样本
6、Reddit
语言模型的一个数据集，有1660820个用户，共56587343个样本，是一个大数据集。

咸鱼菲菲
关注
AI原生应用个性化定制前沿：联邦学习与迁移学习实践
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
04-26 1045
本文旨在为读者全面解析联邦学习和迁移学习这两项AI个性化定制的前沿技术，帮助开发者理解如何在保护数据隐私的前提下，构建更智能、更个性化的AI原生应用。文章将从基本概念入手，逐步深入探讨联邦学习与迁移学习的原理、实现方法和应用场景，最后展望未来发展趋势。联邦学习(Federated Learning)：一种分布式机器学习方法，允许模型在多个设备或服务器上训练，而无需集中原始数据迁移学习(Transfer Learning)：将从一个任务中学到的知识应用到另一个相关任务中的机器学习方法AI原生应用。
Femnist数据集下载与划分
m0_63036896的博客
12-08 1012
划分完后是一些json文件，会在femnist/data路径下的train和test目录里面，每个json文件里面都会有很多user，每个user下有x和y列表，x列表是图片，y列表是图片对应的标签，至此就算是划分好了。把上述GitHub链接的东西git下来，可以看到data里面的femnist数据集，环境我用的3.11，只需要划分数据集的话版本应该没有特殊需求，尽量不要执行requirements，tensorflow很多包会冲突。其中比较重要的是get_data.sh，这里主要是下载数据集的命令。
LEAF shakespeare数据集处理
qq_40277189的博客
02-28 210
由于电脑设置，需要把整个文件中的命令从python3转化为python，之后按照教程运行./preprocess.sh -s niid --sf 0.2 -k 0 -t sample -tf 0.8即可划分数据集。为解决该问题，可以下载源文件raw_data.txt，之后就可以继续划分，也就是跳过了wget这一步。目前直接按照教程来操作的话，会出现404错误。
常见用于联邦学习的数据集【FL】【Datasets】
eternity_memory的博客
08-04 1695
每个文件存储了一部分训练数据，共5个批次（batches），每个批次包含了 10,000 张 32x32 像素的彩色图像。这是一个与MNIST类似的图像数据集，但包含了各种时尚产品的图像，用于服装分类任务。：文件还包含了每个类别的索引，这些索引与训练数据和测试数据中的标签值相对应。：文件中包含了数据集中所有类别的名称。这些名称对应于图像数据中的标签，帮助将模型预测的数字标签与实际类别名称进行匹配。：CIFAR-10包含60,000张32x32像素的彩色图像，分为10个类别，每个类别有6,000张图像。
联邦机器学习经典论文、数据集、开源框架、视频教程等资源分享
lqfarmer的博客
04-18 345
联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。 针对手机终端和多方机构数据的隐私问题,谷歌公司和微众银行分别提出了不同的“联邦学习”(Federated Learning)算法框架。谷歌公司提出了基于个人终端设备的“联邦学习”(Federated Learning)算...
【论文代码】Federated learning benchmark LEAF详解（一）
erquechengxuyuan的博客
01-19 1219
LEAF : A Benchmark for Federated Settings 官方项目分析
叶子数据leaf_data
02-10
leaf_data
联邦学习数据集划分Dirichlet划分法——pytorch实现
volcan的博客
07-09 2447
联邦学习 Dirichlet分布 数据集划分 pytorch实现
联邦学习（Federated Learning, FL）
最新发布
Rhett_Butler0922的博客
05-01 914
联邦学习是一个跨学科领域，融合了机器学习、分布式系统、隐私保护和优化理论。它的核心在于通过分布式协作训练模型，同时保护数据隐私和降低通信成本。深入理解联邦学习需要掌握其理论基础（如优化目标、Non-IID挑战）、核心算法（如FedAvg及其变种）、隐私机制（如差分隐私、安全聚合）、工程挑战（如通信效率、系统异构性）以及应用场景（如医疗、金融、物联网）。
联邦学习的挑战、方法和未来方向
m0_72913514的博客
09-21 1662
本文讨论了联邦学习的独特特征和挑战，提供了当前方法的广泛概述，并概述了与广泛的研究社区相关的未来工作的几个方向。
Federated learning 框架——leaf 探坑记录
01-20
leaf是一个联邦学习的框架，来自CMU，官网：https://leaf.cmu.edu/build/html/index.html      Github：https://github.com/TalwalkarLab/leaf/pulls 1、安装与配置环境 首先要在Github上下载leaf，之后安装 requirements.txt 中列出的 libraries。 这里面有几个坑：1、要用 pip3 下载，否则 tensorflow 可能出现空包 2、目前tensorflow发行了2.0系列的版本，但是leaf是用tensorflow1.x系列的语法写的，也就是说，需要修改requir
树叶数据集
01-08
10种常见树叶的数据集，如银杏、杜鹃、桂叶等，每种树叶40张图片，已经标注好，可直接用来训练。
federated-learning:关于联邦学习的所有内容（论文，教程等）-联邦学习
05-13
联邦学习 Federated Learning Everything about federated learning. Your contribution is highly valued! 关于联邦学习的资料，包括：介绍、综述文章、最新文章、代表工作及其代码、数据集、论文等等。 欢迎一起贡献！ 目录 1. 教程 Tutorial 文字 PPT (AAAI-19) (AAAI-19) 视频 GDPR, Data Shortage and AI (AAAI-19 Invited Talk) 新闻 2019/02/09 谷歌发布全球首个产品级移动端分布式机器学习系统，数千万手机同步训练 2. 相关论文 Related Papers 综述与介绍 Survey And Introduction arXiv 201912 - Advances and Open Problems in Fede
Leaf Classification 叶分类-数据集
03-04
这个数据集的目的是使用二元叶片图像和提取的特征（包括形状，边缘和纹理）来准确识别99种植物。叶片由于其体积，流行率和独特的特性，是区分植物物种的有效手段。它们还提供了一个有趣的介绍，介绍如何应用涉及到基于图像的特性的技术。第一步，尝试构建一个使用预先提取的特征的分类器。接下来，尝试创建一组自己的功能。最后，检查您所犯的错误，并查看可以做些什么来改进。 Leaf Classification_datasets.txt
UCI Folio Leaf 数据集数据集
06-30
UCI Folio Leaf 是不同种类树叶的图片数据集，包含 32 中不同的树叶种类，每类 20 张左右的图像。
联邦学习入门（一）-Advances and Open Problems in Federated Learning详解
wenzhu2333的博客
07-27 8320
本文主要是联邦学习的入门级笔记，主要参考了论文Advances and Open Problems in Federated Learning和微众银行的联邦学习白皮书，笔者作为初次接触该领域的小白，对感觉必要的知识做一个总结和记录。 本文首发于我的个人博客 原文请点击这里！！！！！ 定义 联邦学习（Federated Learning简称FL）是一种机器学习设置，其中多个实体（客户端）在中央服务器或服务提供商的协调下协作解决机器学习问题。每个客户的原始数据都存储在本地，并且不会交换或转移；从而代替了用于
联邦学习中的激励机制设计：AI原生应用的多方协作
AIGC应用创新大全的博客
04-30 1006
本文旨在系统性地介绍联邦学习中的激励机制设计问题，涵盖从基础概念到实际应用的完整知识体系。我们将重点关注激励机制如何促进多方协作，解决"搭便车"问题，并确保联邦学习系统的长期稳定运行。核心概念与联系：解释联邦学习和激励机制的基本原理算法原理与操作步骤：详细介绍激励机制的设计方法数学模型与公式：提供理论基础和分析工具项目实战：通过代码示例展示实际应用应用场景与工具推荐：探讨实际应用和可用资源未来趋势与挑战：展望技术发展方向联邦学习(Federated Learning)
LEAF: 联邦学习基准测试平台
gitblog_00063的博客
04-04 449
LEAF: 联邦学习基准测试平台 leaf Leaf: A Benchmark for Federated Settings 项目地址: https://gitcode.com/gh_mirrors/leaf2/leaf ...
【pytorch】FL联邦学习 数据集的划分+non-iid数据集的划分
热门推荐
学渣的博客
02-27 2万+
torchvision.datasets里的数据集都是整一个的，尤其在联邦学习中，我们需要划分不同的数据集给不同的参与者，如何将torchvision中的数据集划分成为了联邦学习中的重大挑战。在联邦学习场景下，各方的数据理应不为同分布，即不满足iid，因此在模拟时不能随机进行数据分配，应该适当调整下发给各client的数据分布。类的数据，其他数据分布都等概率，实际运用中其实可以没有必要规定等概率，仅限定 第。随机分配样本，返回的是每个client的索引。类数据出现的概率就好了。唯一的缺点是 除了第。
femnist使用
03-29
<think>好的，我现在需要帮助用户了解如何使用FEMNIST数据集进行联邦学习训练。首先，我得回忆一下FEMNIST数据集的基本信息。FEMNIST是扩展自EMNIST的数据集，常用于联邦学习，包含手写字母和数字，由不同用户的手写样本组成，具有非独立同分布（Non-IID）特性。 接下来，用户的需求是使用这个数据集进行联邦学习训练，可能需要步骤指导。根据引用内容，用户提到了LEAF框架，其中提供了联邦学习的数据集和例子，使用的是联邦平均算法，Python和TensorFlow。所以第一步应该是获取数据集，并配置环境。 首先，数据获取。根据引用[3]，用户提供的链接是CIFAR-100，但用户问的是FEMNIST，可能需要确认LEAF是否包含FEMNIST。通常LEAF确实包含FEMNIST，所以用户需要从LEAF的仓库获取。可能需要克隆LEAF的GitHub仓库，然后运行预处理脚本生成FEMNIST数据。比如LEAF的GitHub仓库可能有生成数据集的指令，比如运行./preprocess.sh -s niid --sf 0.1 -k 0 -t sample来生成非独立同分布的数据。 然后，环境配置。根据引用[1]，LEAF使用Python和TensorFlow，所以需要安装这些依赖。用户需要安装TensorFlow和必要的包，可能通过requirements.txt来安装。需要提醒用户注意版本兼容性，尤其是TensorFlow的版本可能影响代码运行。 接下来是模型构建。联邦学习通常使用联邦平均算法，用户需要定义一个CNN模型，因为FEMNIST是图像数据。例如，用TensorFlow构建包含卷积层、池化层和全连接层的模型。这部分需要给出示例代码，可能包括模型的结构定义。 然后是训练过程。使用联邦平均算法，在每一轮中选择部分客户端，分发全局模型，本地训练，上传参数，聚合更新。需要解释这个过程，并给出训练循环的伪代码或代码框架。例如，引用中的联邦平均算法可能需要循环多个轮次，每个轮次处理客户端的数据，进行本地训练，然后聚合权重。 最后，评估和优化。训练完成后在测试集上评估模型性能，并考虑可能的优化方法，如调整本地训练轮数、客户端选择策略或学习率调度。同时，可以结合引用[2]提到的公平资源分配方案，考虑在资源分配上的优化。 需要检查步骤是否清晰，是否覆盖了数据准备、环境配置、模型构建、训练流程和评估优化。同时，确保代码示例正确，使用TensorFlow 2.x的语法，比如使用Keras API构建模型。可能需要注意LEAF的具体使用方式，比如数据加载的代码示例，如何读取预处理后的数据文件，并分配给不同的客户端。 另外，用户可能遇到的问题包括环境配置错误、数据预处理步骤复杂或模型结构不适应数据。需要提醒用户注意数据路径的正确性，依赖版本的安装，以及模型结构与输入数据的匹配（比如图像尺寸、通道数等）。 最后，生成相关问题，可能涉及数据集的其他应用、联邦学习的优化方法，或者与其他数据集的比较，如CIFAR-100。根据引用内容，可以提出关于联邦平均算法的性能分析、公平资源分配的应用，或者不同数据集的适用场景等问题。</think>### FEMNIST数据集的使用步骤 #### 1. **获取数据集** FEMNIST数据集通常通过联邦学习框架LEAF获取。LEAF提供了数据预处理工具，可将原始数据划分为多个客户端的非独立同分布（Non-IID）数据。 - **操作步骤**： 1. 克隆LEAF仓库： ```bash git clone https://github.com/TalwalkarLab/leaf ``` 2. 进入`leaf/data/femnist`目录，运行预处理脚本生成数据： ```bash ./preprocess.sh -s niid --sf 0.1 -k 0 -t sample ``` 参数说明：`-s niid`表示非独立同分布划分，`--sf`控制客户端数据量，`-t`指定任务类型[^1]。 #### 2. **环境配置** LEAF依赖Python和TensorFlow，需安装以下环境： ```bash pip install tensorflow numpy pandas # 基础依赖 pip install -r leaf/requirements.txt # 安装LEAF特定依赖 ``` #### 3. **模型构建** 使用TensorFlow定义卷积神经网络（CNN）模型： ```python import tensorflow as tf def create_cnn_model(input_shape=(28, 28, 1), num_classes=62): model = tf.keras.Sequential([ tf.keras.layers.Conv2D(32, (5, 5), activation='relu', input_shape=input_shape), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Conv2D(64, (5, 5), activation='relu'), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(512, activation='relu'), tf.keras.layers.Dense(num_classes, activation='softmax') ]) return model ``` #### 4. **联邦训练流程** 使用联邦平均算法（FedAvg）进行训练： ```python def federated_train(global_model, clients_data, num_rounds=10, fraction=0.1): for round in range(num_rounds): selected_clients = select_clients(clients_data, fraction) local_weights = [] for client in selected_clients: local_model = tf.keras.models.clone_model(global_model) local_model.compile(optimizer='adam', loss='sparse_categorical_crossentropy') local_model.set_weights(global_model.get_weights()) # 本地训练（假设client_data为(client_x, client_y)） local_model.fit(client.x, client.y, epochs=1, batch_size=32) local_weights.append(local_model.get_weights()) # 聚合权重更新全局模型 global_weights = average_weights(local_weights) global_model.set_weights(global_weights) return global_model ``` #### 5. **评估与优化** - **评估**：在测试集上计算准确率： ```python test_loss, test_acc = global_model.evaluate(test_x, test_y) print(f"Test Accuracy: {test_acc*100:.2f}%") ``` - **优化方向**： - 调整本地训练轮数（`epochs`）或学习率。 - 使用动态客户端选择策略提升公平性[^2]。 - 引入差分隐私或梯度压缩增强安全性。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值