DOSFL：Distilled One-Shot Federated Learning

CoRR2020，这篇是结合了OneShot Federated Learning（CoRR2019）和Data Distill（CoRR2018），client端训练出一组合成数据，使得模型每次在真实数据的更新与在合成数据上的更新尽量一致，这组合成数据传输到server端训练全局模型。我主要是想看下如何在FL上做数据蒸馏。

论文地址：arxiv
code: 没找到

贡献

提出蒸馏一次性联邦学习（DOSFL），将通信成本降低多达3个数量级。

DOSFL 仅需要服务器与其客户端之间的一轮通信。每个客户端提取数据并将学习到的合成数据、标签和学习率上传到服务器，而不是传输大量的梯度或权重。即使包含数千个示例的大型数据集也可以压缩为仅几个虚构的示例。

算法流程

(1) 服务器初始化一个模型并广播给所有客户端。 (2) 每个客户端提取其私有数据集，(3) 将合成数据、标签和学习率传输到服务器。 (4) 服务器根据提取的数据拟合其模型，(5) 将最终模型分发给所有客户端。

流程不复杂，和FL不同之处在于，上传的是合成数据、标签和学习率，且只传输一次（我不明白为啥要做成