CoRR2020,这篇是结合了OneShot Federated Learning(CoRR2019)和Data Distill(CoRR2018),client端训练出一组合成数据,使得模型每次在真实数据的更新与在合成数据上的更新尽量一致,这组合成数据传输到server端训练全局模型。我主要是想看下如何在FL上做数据蒸馏。
论文地址:arxiv
code: 没找到
贡献
提出蒸馏一次性联邦学习(DOSFL),将通信成本降低多达3个数量级。
DOSFL 仅需要服务器与其客户端之间的一轮通信。每个客户端提取数据并将学习到的合成数据、标签和学习率上传到服务器,而不是传输大量的梯度或权重。即使包含数千个示例的大型数据集也可以压缩为仅几个虚构的示例。
算法流程
(1) 服务器初始化一个模型并广播给所有客户端。 (2) 每个客户端提取其私有数据集,(3) 将合成数据、标签和学习率传输到服务器。 (4) 服务器根据提取的数据拟合其模型,(5) 将最终模型分发给所有客户端。
流程不复杂,和FL不同之处在于,上传的是合成数据、标签和学习率,且只传输一次(我不明白为啥要做成