联邦学习中常见的Clients数据Non-IID非独立同分布总结

已于 2024-05-19 15:21:18 修改
阅读量1.1w 收藏 107
点赞数 24
分类专栏： 联邦学习 大厂算法岗求职攻略 文章标签： 联邦学习 Non-IID 非独立同分布
于 2021-10-08 23:18:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43827595/article/details/120661931
版权
本文总结了联邦学习中客户端数据Non-IID分布的五种类型：Feature distribution skew, Label distribution skew, Same label, different features, Same features, different label及Quantity skew。讨论了数据集偏移的概念，包括协变量偏移、先验概率偏移和概念偏移。并引用了相关论文进行深入探讨。" 128011655,5685901,代码审计与安全防护：资产测绘与漏洞分析,"['安全', '代码安全', 'Java安全', '资产管理和安全', '漏洞分析', '网络攻防']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

联邦学习

写在前面

在介绍联邦学习客户端之间数据Non-IID分布前，我们需要先了解Dataset Shift的概念。

联邦学习中客户端之间Non-IID分布和我们在做机器学习任务时可能遇到的训练集与测试集分布不一致其实是一个道理（因为你可以把训练集想象成客户端1，测试集想象成客户端2）。

训练集和测试集分布不一致被称作数据集偏移(Dataset Shift)。西班牙格拉纳达大学Francisco Herrera教授在他PPT《Dataset Shift in Classification: Approaches and Problems》里提到数据集偏移有三种类型:

  • 协变量偏移(Covariate Shift): 独立变量的偏移，指训练集和测试集的输入服从不同分布，但背后是服从同一个函数关系，如图1所示。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【pytorch】FL联邦学习 数据集的划分+non-iid数据集的划分
学渣的博客
02-27 2万+
torchvision.datasets里的数据集都是整一个的，尤其在联邦学习中，我们需要划分不同的数据集给不同的参与者，如何将torchvision中的数据集划分成为了联邦学习中的重大挑战。在联邦学习场景下，各方的数据理应不为同分布，即不满足iid，因此在模拟时不能随机进行数据分配，应该适当调整下发给各client的数据分布。类的数据，其他数据分布都等概率，实际运用中其实可以没有必要规定等概率，仅限定 第。随机分配样本，返回的是每个client的索引。类数据出现的概率就好了。唯一的缺点是 除了第。
联邦学习学习笔记——论文理解《Communication-Efficient Learning of Deep Networks from Decentralized Data》
热门推荐
biongbiongdou的博客
02-17 3万+
Google — Federated Learning 联邦学习Google原文：《Communication-Efficient Learning of Deep Networks from Decentralized Data》 最近研读了这篇提出了联邦学习（Federated Learning）的文章，并整理了详细的笔记，内容主要是对原文的理解和整理，希望能帮助正在了解联邦学习的小伙伴们。 ...
FedAvg-master联邦学习MINST分类，包含独立同分布非独立同分布，以及多种聚合策略。（有创新！）
05-19
联邦学习MNIST数据集的分类，包含独立同分布，非独立同分布，以及多种聚合策略（起码3种），分析不同情况下的收敛速度以及分类的准确率！全新资源，与现有网上的资源均不同，核心方法都是自己写的！
联邦学习在non-iid数据集上的划分和训练——从零开始实现
QinZheng7575的博客
06-06 1815
联邦学习在non-iid数据集上的训练。包含数据集的划分、训练、测试
FL联邦学习WEEK2笔记
最新发布
Balance0_0的博客
03-31 583
FL联邦学习WEEK2笔记。
联邦学习中的非独立同分布
weixin_47251523的博客
02-28 1742
比如在一个图像分类数据集cifar-10中，共有6W张照片分为10类，在传统的图像分类实验中，数据集采用均匀划分的5w个作为训练集，1w个样本作为测试集。在传统的应用场景中，数据存储在中心，机器学习可以获取所有数据的整体信息，但是在联邦学习中，由于数据仅存储在本地，导致数据之间分布的不一致性。在传统的机器学习中，可以把训练集和测试集看成两个客户端，在之前的训练中，我们都是假设这两个客户端是IID的，这是通过训练数据集获得的模型在测试数据集上也能表现较好的重要保障。
非独立同分布数据
weixin_45891757的博客
10-17 1546
非独立同分布数据的简单理解
联邦学习中的非独立同分布Non-IID
weixin_70757494的博客
06-09 3031
在联邦学习Federated Learning中，出现的很高频的一个词就是Non-IID，翻译过来就是非独立同分布，这是一个来自于概率论与数理统计中的概念，下面我来简单介绍一下在Federated Learning中IID和Non-IID的概念。
联邦学习中的数据非独立同分布问题
SmartLab307的博客
10-10 2069
比如在一个图像分类数据集cifar-10中，共有6W张照片分为10类，在传统的图像分类实验中，数据集采用均匀划分的5w个作为训练集，1w个样本作为测试集。在传统的应用场景中，数据存储在中心，机器学习可以获取所有数据的整体信息，但是在联邦学习中，由于数据仅存储在本地，导致数据之间分布的不一致性。在传统的机器学习中，可以把训练集和测试集看成两个客户端，在之前的训练中，我们都是假设这两个客户端是IID的，这是通过训练数据集获得的模型在测试数据集上也能表现较好的重要保障。
联邦学习中非独立同分布（No I.I.D.）几种情况
charlessun9的博客
09-30 1万+
介绍了当前联邦学习中非独立同分布的几种分类，从Dataset drift切入，然后举例介绍了5种分类的区别。
划分非独立同分布（Non-IID）数据集
游星的博客
12-15 9570
划分非独立同分布（Non-IID）数据集
非独立同分布数据孤岛的联邦学习：一项实验研究
我爱计算机视觉
09-03 3064
关注公众号，发现CV技术之美本篇分享论文『Federated Learning on Non-IID Data Silos: An Experimental Study』，非独立同分布数据孤岛的联邦学习：一项实验研究。详细信息如下：论文链接：https://arxiv.org/abs/2102.02079代码链接：https://github.com/Xtra-Computing/NIID-Ben...
联邦学习中的non-iid总结
日拱一卒，功不唐捐。
10-10 1万+
本文思考联邦学习最基本的问题：数据异构，即non-iid。主要思考什么是FL中的non-iid、如何衡量non-iid的程度、non-iid带来的问题、数学证明FedAvg在non-iid情况下收敛以及如何缓解non-iid带来的挑战。
非独立同分布 大数据
布谷鸟
05-19 5136
大数据的应用应该在：有限资源的情况下，快速开展 非独立同分布 大数据 数据总是依赖的，分布发生变化=》适应大数据发展趋势 算法，思维 | —– |–Non-IID 进展 |–概念 |–数据表达 |–离散 |–K-Means |–图形特征体现 |–统计学，特征选择，异常检测，推荐系统【理解予以，关联】 |—-独立同分布。 假设条件简单，存在问题 A. 学习问题：...
【论文阅读】Federated Learning on Non-IID Data Silos: An Experimental Study
YasmineC的博客
03-16 1676
阅读目标： 了解解决异构性问题的角度 了解解决异构性问题的方法 阅读结束回答： 标签、特征、量 FedAvg、FedProx等，并不是我想要的解决复杂异构性的方法 动机：隐私保护和数据条例的出现，导致多个“数据孤岛”分散数据库的形成；而这些分散数据库的关键挑战就是数据分布的异构性；联邦学习中出现很多应对这种non-iid的方法，但很少有实证研究来系统的梳理这些方法的优点和缺点 工作：1）提出了覆盖大多数non-iid情形的全面数据分区策略 2）设计了扩展实验来评估最先进的FL算法 3）结论是，没有
Federated Learning with Non-IID Data 论文笔记
Zoran的博客
10-04 4764
  本文提出联邦学习中的由于Non-IID数据分布而精度降低是因为权重分散（weight divergence），而权重散度可以用搬土距离（EMD）量化，最后提出了一种策略：通过创建一个在所有边缘设备之间全局共享的数据子集来改进Non-IID数据的训练以此来提高模型精度。。 论文地址：Federated Learning with Non-IID Data   联邦学习使资源受限的边缘计算设备（如移动电话和物联网设备）能够学习用于预测的共享模型，同时保持训练数据的本地性。这种分散的训练模型方法提供了隐私、
【AI知识点】非独立同分布（non-iid, non-independent and identically distributed）
AI完全体
10-03 1673
非独立同分布（non-iid, non-independent and identically distributed） 是一个统计学和机器学习中的概念，用来描述数据样本之间的相互依赖性和不一致性。
联邦学习non-iid用户数据采样python实现
甜度超标的博客
11-09 1217
联邦学习non-iid用户数据采样python实现
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

捡起一束光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值