DangDang1895的博客

原创 FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning

联邦蒸馏（FD）是联邦学习（FL）的一种流行的新算法范式，它通过将客户端对未标记辅助数据集的预测结果提取到服务器学生模型（全局模型）中，实现了与先前基于参数平均的方法相比具有竞争力的训练性能，同时还允许客户端训练不同的模型架构。在这项工作中，我们提出了FedAUX，这是FD的一个扩展，在相同的假设下，它通过从未标记的辅助数据中获得最大效用来显著提高性能。FedAUX通过两种方式修改了FD训练过程：首先，对辅助数据进行无监督的预训练，为分布式训练找到合适的模型初始化。