提升速度与精度，FedReg: 减轻灾难性遗忘加速联邦收敛（ICLR 2022）

关注公众号，发现CV技术之美

这是一篇最新ICLR2022论文，Acceleration of Federated Learning with Alleviated Forgetting in Local Training，作者通过从一个灾难性遗忘的角度分析联邦学习性能不佳的原因，并进行改进提升收敛速度与精度。

《Acceleration of Federated Learning with Alleviated Forgetting in Local Trainin》

论文：https://arxiv.org/abs/2203.02645

代码：https://github.com/Zoesgithub/FedReg

▊ 1 Abstract

作者观察到，现有方法收敛速度缓慢是由于每个客户端局部训练阶段的灾难性遗忘问题造成的，这导致其他客户的先前训练数据的损失函数大幅增加。

因此作者提出了一种FedReg算法，通过对生成的伪数据的损失来调整局部训练的参数，并对全局模型学习到的先前训练数据的知识进行编码，从而大大提高收敛速度，同时可以更好的保护隐私。

▊ 2 Introduction

一些FL算法被设计要通过减少异质性问题的差异来改进FedAvg，但是当采用深度神经网络架构时，这些方法的性能仍然远不能令人满意，另一方面，最近的文献工作表明训练后的模型参数的传输并不能保证对隐私的保护，虽然DP可以防止隐私泄露，但是当DP加入FL时模型的性能持续衰减。

作者观察到，当数据为non-i.i.d时在整个客户中，本地训练的模型严重忘记了其他客户对以前的训练数据的知识（即众所周知的灾难性遗忘问题），这可能是由于本地数据分布和全局数据分布之间的差异。这种遗忘问题导致客户端损失大幅增加，我们提出FedReg通过减轻局部训练阶段的灾难性遗忘问题来降低训练中的通信成本。

FedReg通过使用生成的伪数据对局部训练参数进行正则化来减少知识遗忘，这些伪数据是通过使用修改后的局部数据对全局模型学习到的先前训练数据的知识进行编码而获得的。伪数据与本地数据中的知识的潜在冲突通过使用扰动数据得到抑制，扰动数据是通过对本地数据