DENSE: Data-Free One-Shot Federated Learning

NeurIPS2022，论文原名《A Practical Data-Free Approach to One-shot Federated Learning with Heterogeneity》 。文中提出了一种新颖的两阶段无数据一次性联合学习（DENSE）框架，该框架通过数据生成阶段和模型蒸馏阶段来训练全局模型。在第一阶段，利用集成模型（即客户端上传的本地模型的集成）来训练生成器，生成器可以生成用于第二阶段训练的合成数据。在第二阶段，将集成模型的知识提炼为全局模型。

论文地址：arxiv
code: 作者git

贡献

提出一种无数据一次性蒸馏FL框架（DENSE），由数据生成和模型蒸馏两阶段构成。具有以下优点：1）通讯传输只传模型参数；2）不需要辅助数据集；3）支持模型异构；4）可与本地训练优化技术兼容

算法流程

如图所示，由生成和蒸馏两部分构成。先正常得到本地模型和全局模型，在server端用ensemble方式整合客户端模型，固定所有分类模型更新生成器；得到合适的生成器后，固定生成器和ensemble训练global模型。