SCAFFOLD: Stochastic Controlled Averaging for Federated Learning

摘要

选项I涉及对本地数据进行额外的传递，以计算服务器模型x的梯度。选项II则重用先前计算的梯度来更新控制变量。根据应用程序的不同，选项I可能比选项II更稳定，但选项II的计算成本更低，而且通常足够（我们所有的实验都使用选项II）。然后，客户端更新被聚合并用于更新服务器参数：

这就完成了一轮通信。注意，SCAFFOLD中的客户机是有状态的，并且在多个回合中保留ci的值。此外，如果ci总是被设置为0，那么SCAFFOLD就等同于FEDAVG。在算法1中总结了全部细节。