论文阅读:SCAFFOLD: Stochastic Controlled Averaging for Federated Learning

1.研究背景：

为了改进Fedavg算法当数据是异构(非iid)时，它遭受“客户漂移”，导致不稳定和缓慢的收敛。

2.提出的方法：

它使用控制变量(方差减少)来纠正本地更新中的“客户端漂移”。我们证明了SCAFFOLD需要更少的通信轮数，并且不受数据异构性或客户端采样的影响。进一步，我们证明(对于二次方程)

SCAFFOLD可以利用客户端数据的相似性，从而产生更快的收敛。
后者是量化局部步骤在分布式优化中的作用的第一个结果。
1).创新点:
a.可以克服客户端异质性(可以将异质性视为在不同客户端之间的更新中引入“客户端方差”，然后该算法会执行客户端方差减少)；
b.在明显较少的通信回合中达到收敛状态；
c.我们推导出FEDAVG比之前已知的凸函数和非凸函数在客户端采样和异构数据下更紧密的收敛速度
d.我们给出匹配下界来证明即使没有客户取样和全批梯度，FEDAVG也会由于客户漂移而比SGD慢。
e.SCAFFOLD相对不受客户端抽样获得方差降低率的影响，使其特别适合联合学习。

3.SCAFFOLD算法核心:

3.1FedAvg算法更新公式：

3.2.SCAFFOLD更新公式：