文章链接:https://arxiv.org/pdf/1806.00582.pdf
1、概述
问题:
联邦学习环境下clinet数据的Non-IID对最终得到模型的性能会产生较大负面影响
解决方法:使用全局共享数据
2、Non-IID情况下的FedAvg
-
实验证明在non-IID的情况下FedAvg在三中数据集上会有性能下降
数据集:MNIST,CIFAR-10,Speech commands datasets
clinets:10个
数据集划分:
IID:将数据集打乱每个clinet平均分到1/10
non-IID:每个节点数据量相同,每个节点分到一类数据/每个节点分到两类数据
-
实验结果
3、Non-IID数据会带来权重差异
-
权重差异定义: