联邦学习的数据异构性解决方案
文章平均质量分 95
研读现有论文,分析当前解决数据异构性的方案以及未来可能的优化方案
听雨居少主
这个作者很懒,什么都没留下…
展开
-
解决联邦学习异构性的方法(2)
上一篇文章我们阐述了从范式角度解决non-iid数据的方法,本文我们将阐述一些其他方法。原创 2023-08-05 15:21:34 · 406 阅读 · 1 评论 -
解决联邦学习异构性的方法(1)
为客户端和服务器设置了控制变量ci和c,在FedAvg的基础上增加了一个修正项c-ci,其可以理解为全局模型相对于本地模型的client-drift值,修正模型向真正的最优解移动。数据异构性的对联邦学习的影响是局部模型进行过多的更新可能会导致全局模型不收敛。其中 ,w是理想中训练了全部数据集的全局模型,但联邦学习不可能使用所有数据集,所以只能用局部模型参数θi +对替代全局模型参数wi +。在局部训练阶段引入轻量级修改,其中每个客户端使用一个辅助的局部漂移变量来跟踪局部模型参数和全局模型参数之间的差距。原创 2023-08-05 00:16:17 · 1567 阅读 · 1 评论