联邦学习论文阅读：Fair Resource Allocation in Federated Learning

arXiv上刚刚挂的一篇文章Fair Resource Allocation in Federated Learning，作者是CMU的AP Virginia Smith组的，搜了一下主页，居然是一个超级年轻的小姐姐~

这篇文章思路很straight-forward，逻辑也很清楚，唯一有点缺点的是可能时间比较赶，第一版上传的还是draft，文章还没修改完

Motivation
之前横向联邦学习一般都是follow google的FedAvg算法，将所有用户（或者随机一部分）更新的梯度取个平均作为中心模型的更新参数。显然，这种做法虽然对于所有用户来说，全局模型最后会收敛到一个最优值，但是对于单个用户，这个模型并不一定能达到局部最优。作者将之视为一个resource allocation fairness的问题，希望在全局最优的情况下，让所有用户个体都尽可能地达到最优值。

那么现在的问题是：怎么在全局模型的准确率不变的情况下，让每个用户模型的本地准确率也达到最高。作者认为当用户本地模型准确率偏离全局模型准确率的方差最小时可以认为这个模型就是公平的了。具体定义如下：

Definition 1 (Fairness of performance distribution): For trained models $w$ and $w^{\prime }$, we say that model $w$ provides a more fair solution to the federated learning objective (1) than model $w^{\prime }$ if the variance of the performance of model $w$ on the m devices, $a_1,...,a_m$, is smaller than the variance of the performance of model $w^{\prime }$ on the m devices, i.e., $Var(a_1,...,a$