联邦学习中的非独立同分布Non-IID

最新推荐文章于 2025-03-09 21:05:21 发布
最新推荐文章于 2025-03-09 21:05:21 发布
阅读量2.9k 收藏 24
点赞数 31
分类专栏： 联邦学习 文章标签： 深度学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70757494/article/details/139562373
版权

在联邦学习Federated Learning中，出现的很高频的一个词就是Non-IID，翻译过来就是非独立同分布，这是一个来自于概率论与数理统计中的概念，下面我来简单介绍一下在Federated Learning中IID和Non-IID的概念。

何为IID（独立同分布）

IID是数据独立同分布（Independent Identically Distribution，IID），它是指一组随机变量中每个变量的概率分布是相同的，且这些随机变量互相独立。下面介绍IID中的“独立”和“同分布”这两个概念：

  • 独立性：采样样本之间相互独立，互不影响。用数学公式表达：如果随机变量X和Y独立，那么它们的联合概率分布可以分解为 P ( X , Y ) = P ( X ) ∗ P
最低0.47元/天 解锁文章
联邦学习non-IID（非独立同分布）（分布差很大）的几种情况
weixin_74009895的博客
11-16 613
这些 Non-IID 问题会导致模型的性能下降，因为不同的数据中心在拉动模型优化方向时可能出现冲突，影响模型的收敛效果。
联邦学习中常见的Clients数据Non-IID非独立同分布总结
捡起一束光的博客
10-08 1万+
联邦学习中客户端数据Non-IID分布的五种类型。类型1：Feature distribution skew。类型2：Label distribution skew... 联邦学习中客户端之间Non-IID分布和我们在做机器学习任务时可能遇到的训练集与测试集分布不一致其实是一个道理......
「隐语小课」联邦学习之Non-IID问题
m0_69580723的博客
09-15 2338
联邦学习、水平联邦学习
非独立同分布 Non-IID与独立同分布IID
最新发布
zyjwjck的博客
03-09 638
所有的事物都是具有一定结构的系统，而我们常听说的“研究”，都以构建研究对象的模型为目的。因为独立同分布数据，说明我们用来训练的样本点具有较好的总体代表性。我们要从已有的数据（经验） 中总结出规律来对未知数据做决策，如果获取训练数据是不具有总体代表性的，就是特例的情况，那规律就会总结得不好或是错误，因为这些规律是由个例推算的，不具有推广的效果。IID是数据独立同分布（Independent Identically Distribution，IID），显然，Non-IID意思就是数据之间非独立,非同分布。
联邦学习中的non-iid总结
热门推荐
日拱一卒，功不唐捐。
10-10 1万+
本文思考联邦学习最基本的问题：数据异构，即non-iid。主要思考什么是FL中的non-iid、如何衡量non-iid的程度、non-iid带来的问题、数学证明FedAvg在non-iid情况下收敛以及如何缓解non-iid带来的挑战。
联邦学习中的非独立同分布
weixin_47251523的博客
02-28 1692
比如在一个图像分类数据集cifar-10中，共有6W张照片分为10类，在传统的图像分类实验中，数据集采用均匀划分的5w个作为训练集，1w个样本作为测试集。在传统的应用场景中，数据存储在中心，机器学习可以获取所有数据的整体信息，但是在联邦学习中，由于数据仅存储在本地，导致数据之间分布的不一致性。在传统的机器学习中，可以把训练集和测试集看成两个客户端，在之前的训练中，我们都是假设这两个客户端是IID的，这是通过训练数据集获得的模型在测试数据集上也能表现较好的重要保障。
联邦学习中非独立同分布（No I.I.D.）几种情况
charlessun9的博客
09-30 1万+
介绍了当前联邦学习中非独立同分布的几种分类，从Dataset drift切入，然后举例介绍了5种分类的区别。
联邦学习中的数据非独立同分布问题
SmartLab307的博客
10-10 2024
比如在一个图像分类数据集cifar-10中，共有6W张照片分为10类，在传统的图像分类实验中，数据集采用均匀划分的5w个作为训练集，1w个样本作为测试集。在传统的应用场景中，数据存储在中心，机器学习可以获取所有数据的整体信息，但是在联邦学习中，由于数据仅存储在本地，导致数据之间分布的不一致性。在传统的机器学习中，可以把训练集和测试集看成两个客户端，在之前的训练中，我们都是假设这两个客户端是IID的，这是通过训练数据集获得的模型在测试数据集上也能表现较好的重要保障。
划分非独立同分布（Non-IID）数据集
游星的博客
12-15 9497
划分非独立同分布（Non-IID）数据集
FedAvg-master联邦学习MINST分类，包含独立同分布非独立同分布，以及多种聚合策略。（有创新！）
05-19
2. **独立同分布（IID）**：在IID假设下，每个参与联邦学习的设备（如用户的手机或电脑）所拥有的数据样本是从全局数据分布中随机抽取的，这意味着各个设备的数据具有相似的分布特征。在这样的情况下，FedAvg算法...
Federated learning non-iid
weixin_43845649的博客
11-01 584
notes
Non—IID数据
chen的博客
12-18 831
因此，研究人员需要开发新的算法和技术，来应对这种更为复杂的数据情况，例如联邦学习（Federated Learning）等技术就是专门用来处理分布式、非IID的数据集。在传统机器学习或分布式学习中，通常假设数据是独立同分布的（IID），即每个样本是相互独立且从相同的概率分布中取样得到的。比如，在智能城市中，不同地区的传感器数据可能因为环境差异而不同，导致数据的非独立同分布性。非独立分布可能指的是数据之间存在相关性或依赖关系，而分布不同可能表示不同设备或环境下收集的数据具有不同的特征分布。
探索联邦学习在非独立同分布数据环境下的挑战与解决方案
智能科技前沿
10-01 1628
联邦学习是一种分布式机器学习方法，旨在保护数据隐私的同时实现多方协同训练。然而，在实际应用中，数据往往呈现非独立同分布（non-IID）特性，这对联邦学习的性能和稳定性构成挑战。本文详细分析了non-IID问题对联邦学习的影响，包括模型收敛困难、局部模型偏差和不公平性等问题，并提出了相应的解决方案，如改进聚合算法、模型调优和有限的数据共享。此外，通过一个基于PyTorch和Flower库的Python示例代码，展示了如何在non-IID环境下实施联邦学习，为研究人员和实践者提供了实用的参考。
【联邦学习】联邦学习量化——non-iid数据集下的仿真
QinZheng7575的博客
12-02 2751
联邦学习模型传输的量化 non-iid数据集的获取与加载
关于联邦学习构造Non-IID数据集的记录
weixin_41958290的博客
12-11 1549
简单来说，Non-IID就是指每个设备中的数据分布不能代表全局数据分布。本文简单记录一下自己在研究联邦学习过程中对Non-IID数据的思考和处理。
IID 与 Non-IID
qq_38101208的博客
10-25 8760
数据独立同分布（Independent Identically Distribution，IID） 数据与数据之间都是独立的，但满足同一个分布。（独立：一个数据的出现不会影响另一个数据） 数据分布描述的是数据的统计情况：横坐标表示所有可能的分类情况，纵坐标表示的是对应分类数据量。 在现实生活中，很多时候，数据可能是围绕着一个中心分布，不偏左、不偏右、也不或高或低，呈现一种中间高、两边低的趋势，我们称之为“正态分布”（也叫“高斯分布”）： 正态分布的简单性质。第一，平均数=中位数=众数；第二，关于中心
Federated Learning with Non-IID Data
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
11-08 3419
Federated Learning with Non-IID Data 论文链接 Abstract 联合学习使资源受限的边缘计算设备（例如移动电话和IoT设备）能够学习共享的预测模型，同时将训练数据保持在本地。这种去中心化的训练模型方法提供了隐私，安全性，监管和经济利益。在这项工作中，我们专注于本地数据为非IID时联邦学习的统计挑战。我们首先显示出，对于高度偏斜的非IID数据进行训练的神经网络（...
非独立同分布数据
hellozhxy的博客
06-01 499
虽然FedAVG的作者声称他的方法可以在一定程度上处理非独立同分布数据，但是大量的研究表明，在非独同的数据上，FL的精度下降是不可避免的。性能下降的主要原因是由于非iid导致局部模型的权值偏离。即由于局部数据分布的异质性，具有相同初始参数的局部模型会收敛到不同的模型。在FL过程中，通过对上传的局部模型进行平均得到的共享全局模型与理想模型(本地设备上的数据为IID时得到的模型)之间的分歧不断增大，导致收敛速度减慢，学习性能恶化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值