【AI知识点】非独立同分布（non-iid, non-independent and identically distributed）

已于 2024-10-17 11:35:25 修改
阅读量1.6k 收藏 17
点赞数 10
分类专栏： AI知识点 文章标签： 人工智能 机器学习 深度学习 自然语言处理 概率论 统计学 独立同分布
于 2024-10-03 13:26:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43221845/article/details/142690978
版权

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】

非独立同分布（non-iid, non-independent and identically distributed） 是一个统计学和机器学习中的概念，用来描述数据样本之间的相互依赖性和不一致性。

1.独立同分布

我们先理解一下独立同分布（iid, independent and identically distributed） 的含义。iid通常是我们假设的理想情况，它要求数据样本具备以下两个特性：

  1. 独立性（Independence）：每个样本是相互独立的，也就是说一个样本的出现不会影响其他样本的出现。比如在抛硬币实验中，每次抛硬币的结果是互不影响的。

  2. 同分布（Identically Distributed）：每个样本都来自相同的分布，这意味着所有样本都遵循相同的概率分布。例如，在抛硬币的例子中，每次抛

最低0.47元/天 解锁文章
联邦学习中常见的Clients数据Non-IID非独立同分布总结
捡起一束光的博客
10-08 1万+
联邦学习中客户端数据Non-IID分布的五种类型。类型1：Feature distribution skew。类型2：Label distribution skew... 联邦学习中客户端之间Non-IID分布和我们在做机器学习任务时可能遇到的训练集与测试集分布不一致其实是一个道理......
MATLAB算法实战应用案例精讲-【人工智能】联邦学习（二）（附python代码实现）
qq_36130719的博客
08-17 391
经典的机器学习方法基于样本数据（库）训练得到适用于不同任务和场景的机器学习模型。这些样本数据（库）一般通过从不同用户、终端、系统中收集并集中存储而得到。在实际应用场景中，这种收集样本数据的方式面临很多问题。一方面，这种方法损害了数据的隐私性和安全性。在一些应用场景中，例如金融行业、政府行业等，受限于数据隐私和安全的要求，根本无法实现对数据的集中存储；另一方面，这种方法会增加通信开销。在物联网等一些大量依赖于移动终端的应用中，这种数据汇聚的通信开销成本是非常巨大的。
划分非独立同分布（Non-IID）数据集
游星的博客
12-15 9509
划分非独立同分布（Non-IID）数据集
非独立同分布 Non-IID与独立同分布IID
最新发布
zyjwjck的博客
03-09 644
所有的事物都是具有一定结构的系统，而我们常听说的“研究”，都以构建研究对象的模型为目的。因为独立同分布数据，说明我们用来训练的样本点具有较好的总体代表性。我们要从已有的数据（经验） 中总结出规律来对未知数据做决策，如果获取训练数据是不具有总体代表性的，就是特例的情况，那规律就会总结得不好或是错误，因为这些规律是由个例推算的，不具有推广的效果。IID是数据独立同分布（Independent Identically Distribution，IID），显然，Non-IID意思就是数据之间非独立,非同分布。
学习笔记12/18 联邦学习 非独立同分布
m0_48022770的博客
12-18 1542
然而，在实际情况中，这些气温数据并不是独立同分布的。这种方式可以减少通信开销，提高计算效率，但可能会导致模型参数的不一致性，因为各个节点的参数更新是独立进行的。FedSGD的一种典型的实现方式：C=1（非SGD），学习率η固定，每一个客户端算出自己所有数据损失的梯度（平均梯度），然后传递给中央服务器，中央服务器整合所有梯度，来更新全局的参数Wi。因此，对于这种非独立同分布的数据，我们需要采用一些特殊的时间序列模型，如季节性ARIMA、周期性LSTM等，来更准确地描述数据的统计特性，从而提高模型的预测能力。
非独立同分布数据
weixin_45891757的博客
10-17 1529
非独立同分布数据的简单理解
非独立同分布 大数据
布谷鸟
05-19 5133
大数据的应用应该在：有限资源的情况下，快速开展 非独立同分布 大数据 数据总是依赖的，分布发生变化=》适应大数据发展趋势 算法，思维 | —– |–Non-IID 进展 |–概念 |–数据表达 |–离散 |–K-Means |–图形特征体现 |–统计学，特征选择，异常检测，推荐系统【理解予以，关联】 |—-独立同分布。 假设条件简单，存在问题 A. 学习问题：...
FedCD与FedMA：基于边缘计算的分布式视频分析
3. Non-iid数据问题（Non-Independent and Identically Distributed Data）：这是指客户端上的数据不是独立同分布的，即各客户端的数据可能存在较大差异。在联合学习中处理Non-iid数据是重要的挑战，因为不同的数据...
联邦学习系统攻击与防御技术
小白的博客
09-22 1253
联邦学习是一种以分布式方式训练模型的机器学习技术，其主要思想是确保参与方的数据保留在本地，而将训练的模型进一步上传和聚合到服务器。后续学习过程仅使用模型进行训练，保护了参与方的数据隐私，从而保护了数据安全。在用户数据集中的训练样本包含多个特征数据，其中选择一个或多个能够将不同训练样本区分开来的特征作为样本的标识符，即样本 ID。在联邦学习场景下，每个数据集的组织和使用形式存在差异，其特征和样本 ID 可能存在差异。
操龙兵：非独立同分布学习
金石软件
06-04 5928
原文地址：非独立同分布 AIDL简介 “人工智能前沿讲习班”（AIDL）由中国人工智能学会主办，旨在短时间内集中学习某一领域的基础理论、最新进展和落地方向，并促进产、学、研相关从业人员的相互交流，对于硕士、博士、青年教师、企事业单位相关从业者、预期转行AI领域的爱好者均具有重要的意义。2018年AIDL活动正在筹备，敬请关注获取最新消息。 导读 在第三届“人工智能前沿讲习班”上，...
联邦学习中非独立同分布（No I.I.D.）几种情况
热门推荐
charlessun9的博客
09-30 1万+
介绍了当前联邦学习中非独立同分布的几种分类，从Dataset drift切入，然后举例介绍了5种分类的区别。
Non—IID数据
chen的博客
12-18 835
因此，研究人员需要开发新的算法和技术，来应对这种更为复杂的数据情况，例如联邦学习（Federated Learning）等技术就是专门用来处理分布式、非IID的数据集。在传统机器学习或分布式学习中，通常假设数据是独立同分布的（IID），即每个样本是相互独立且从相同的概率分布中取样得到的。比如，在智能城市中，不同地区的传感器数据可能因为环境差异而不同，导致数据的非独立同分布性。非独立分布可能指的是数据之间存在相关性或依赖关系，而分布不同可能表示不同设备或环境下收集的数据具有不同的特征分布。
联邦学习中的非独立同分布Non-IID
weixin_70757494的博客
06-09 2993
在联邦学习Federated Learning中，出现的很高频的一个词就是Non-IID，翻译过来就是非独立同分布，这是一个来自于概率论与数理统计中的概念，下面我来简单介绍一下在Federated Learning中IID和Non-IID的概念。
机器学习实战学习手册——k-NN篇
weixin_45549370的博客
09-13 763
机器学习实战学习手册——k-NN篇k近邻法(k-nearest neighbor/ k-NN)1. 算法背景2. 二维分类模型2.1 过程示例2.1.1 数据比较2.1.2 数据选取及标签提取3. n 维分类模型3.1 项目示例： 优化约会网站的配对效果过程示例3.1 数据收集3.2 数据预处理3.2.1 数据拆分3.2.2 数据归一化处理3.3 数据分析3.4 测试算法3.5 数据预测学习总结参考目录 k近邻法(k-nearest neighbor/ k-NN) 1. 算法背景 k-NN是由Cover
（翻译）相关差分隐私：将信息隐藏在 non-IID 数据集中（一）
Enjoyeer的博客
04-13 2774
原文来自朱天清老师的《Correlated Differential Privacy: Hiding Information in Non-IID Data Set》摘要：（差分隐私很流行，现有的研究主要在一个数据集上，现实生活中，很少有数据集是完全独立的。不同记录之间的关系被称为相关信息，数据集被称为相关数据集。本文提出了一个高效率的相关差分隐私解决方案并设计了一个相关数据发布机制，以此降低相关...
什么是独立同分布，那非独立同分布呢？【FL】
eternity_memory的博客
08-04 1885
如果这些价格变化遵循相同的分布（例如，正态分布），但每一天的变化受前一天的影响（存在依赖性），那么这些价格变化就是非独立但同分布的。：提高每个客户端的本地训练的时间，允许模型在本地进行更多的迭代，这样可以使得本地模型更好地适应本地数据，从而减少数据不均衡带来的影响。在联邦学习中，每个客户端的数据通常来自于不同的分布，因此这些数据可能是非独立和非同分布的。指的是在参与训练的多个客户端上，数据样本并不符合独立同分布的假设。如果一组随机变量既是相互独立的，又遵循相同的分布，则称它们是独立同分布的。
IID 与 Non-IID
qq_38101208的博客
10-25 8767
数据独立同分布（Independent Identically Distribution，IID） 数据与数据之间都是独立的，但满足同一个分布。（独立：一个数据的出现不会影响另一个数据） 数据分布描述的是数据的统计情况：横坐标表示所有可能的分类情况，纵坐标表示的是对应分类数据量。 在现实生活中，很多时候，数据可能是围绕着一个中心分布，不偏左、不偏右、也不或高或低，呈现一种中间高、两边低的趋势，我们称之为“正态分布”（也叫“高斯分布”）： 正态分布的简单性质。第一，平均数=中位数=众数；第二，关于中心
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值