![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
联邦学习
文章平均质量分 93
IQ50zzzZ
开心快乐每一天
展开
-
联邦学习论文阅读:2018 Federated learning with non-IID data
这是一篇2018年挂在arXiv上的文章,是一篇针对FL中数据Non-IID的工作。作者发现,对于高度Non-IID的数据集,FedAvg的准确性下降了55%。作者提出了可以用权重散度(weight divergence)来解释这种性能下降,这个权重散度用各client上的数据类别分布与总体分布之间的EMD(earth mover’s distance)来量化。原创 2024-06-13 22:14:21 · 931 阅读 · 0 评论 -
详解SCAFFOLD:解决联邦学习中的客户端漂移问题 Scaffold: Stochastic controlled averaging for federated learning
这是个作者提出的概念,下面给出对这个概念的解释:我们都知道模型的参数可以看成是参数空间的一个点,模型训练就是想要把这个点根据梯度慢慢移动到低的地方。但是在FL中,各模型的训练分散在各client中,每个client的参数都会根据模型在自己本地数据集上的训练情况往某个方向移动,显然在数据Non-IID时,这些client的参数的移动方向是不一致的(这就是client-drift),这就导致了在模型合并(合并的过程就是简单的平均)之后要么抵消,要么偏移,因此收敛到最低点的速度就慢了。原创 2024-06-11 17:00:00 · 1141 阅读 · 0 评论 -
详解FedProx:FedAvg的改进版 Federated optimization in heterogeneous networks
经典数据集为:MNIST、FEMNIST(Non-IID版的MNIST,由不同作者手写的0-9、A-Z、a-z的数据集)、Shakespeare(莎士比亚作品数据集,同FedAvg)、Sent140(Non-IID,一个文本数据集,内容为一条条推文,标签为positive/negative二分类)。但是,当client之间各自的数据是Non-IID时,每个client优化之后的局部模型就会跟全局模型相去甚远了,局部模型会偏离全局模型,这会减缓全局模型的收敛。那么在这里的 γ 如果越小,我们的解。原创 2024-06-10 21:03:54 · 874 阅读 · 0 评论 -
联邦学习中的非独立同分布Non-IID
在联邦学习Federated Learning中,出现的很高频的一个词就是Non-IID,翻译过来就是非独立同分布,这是一个来自于概率论与数理统计中的概念,下面我来简单介绍一下在Federated Learning中IID和Non-IID的概念。原创 2024-06-09 15:25:13 · 1316 阅读 · 0 评论 -
详解FedAvg:联邦学习的开山之作
在FL中,server将全局模型下放给各client,client利用本地的数据去训练模型,并将训练后的权重上传到server,从而实现全局模型的更新。作者指出,相比于传统模式下训练模型时计算开销为主通信开销较小的情况,在FL中,通信开销才是大头,因此减少通信开销才是我们需要关注的,作者提出可以通过加大计算以减少训练模型所需的通信轮数。该结论是实现FL的重要支持,在每一轮通信时,server有必要发布全局模型,使各client采用相同的参数在本地数据集上进行训练,可以有效减少loss。原创 2024-06-08 16:46:15 · 3394 阅读 · 0 评论