详解FedAvg：联邦学习的开山之作

FedAvg：2017年 开山之作

论文地址：https://proceedings.mlr.press/v54/mcmahan17a/mcmahan17a.pdf
源码地址：https://github.com/shaoxiongji/federated-learning
针对的问题：移动设备中有大量的数据，但显然我们不能收集这些数据到云端以进行集中训练，所以引入了一种分布式的机器学习方法，即联邦学习Federal Learning。在FL中，server将全局模型下放给各client，client利用本地的数据去训练模型，并将训练后的权重上传到server，从而实现全局模型的更新。
论文贡献：

1. 提出了联邦学习这个研究方向，简单来说就是从分散的存储于各设备的数据中训练模型；
2. 提出了FedAvg算法；
3. 通过实验验证了FedAvg的可靠性；

总结一下就是，本文提出了FedAvg算法，这种算法融合了client上的局部随机梯度下降和server上的模型平均。作者用该算法做了不少实验，结果表明FedAvg对于unbalanced且non-iid的数据有很好的鲁棒性，并且使得在非数据中心存储的数据上进行深度网络训练所需的通信轮次减少了好几个数量级。
算法介绍：

1. 联邦随机梯度下降算法FedSGD：

设定固定的学习率η，对K个client的数据计算损失梯度：
$g_k=▽F_k(w_t)$
server将聚合每个服务器计算的梯度，以此来更新模型参数：
w t + 1 ← w t − η ∑ k = 1 K n k n g k = w t − η ▽ f ( w t ) w_{t+1}\leftarrow w_t-\eta\sum\limits_{k=1}^K\frac{n_k}{n}g_k=w_t-\eta\bigtriangledown f(w_t) wt+1​←wt​−η