FedDF：Ensemble Distillation for Robust Model Fusion in Federated Learning

NeurIPS 2020
论文地址：arxiv
code: 没找到

贡献

1. 提出了一个用于鲁棒联邦模型融合的蒸馏框架，允许客户端模型异构、数据异构，并且对神经架构的选择具有鲁棒性。
2. 服务器模型可以更快地训练，比现有的 FL 技术更少的通信轮次。

算法流程

和正常的FL区别不大，就是在server端和client端更新的时候多算了蒸馏损失。

更新server端时，全局模型作为蒸馏中的student模型更新，从client接收到的多个模型作为多个teacher模型，全局初始模型是由teacher模型平均得到，用teacher模型输出logits的平均值AVGLOGITS和student模型的logits做KL损失进行更新。最后student模型下发到客户端。

server端的数据来源有三个可能1）existing (unlabeled) datasets； 2）BigGAN’s generator； 3）public dataset(downsampled ImageNet)。

更新client端时，就是正常的蒸馏实验，用client本地的数据，没啥好说的。

如果模型异构的话，唯一的不同点就在于server端模型聚合部分，文中解法就是把架构相同的模型进行聚合，有几种不同的模型就聚合输出几种模型。。。真是简单粗暴。。。。

说实话我没看出来和FD-FAug那篇比有啥改进？感觉还没之前的好？

疑问

1. 这篇20年的文章感觉是18年的那篇FD-FAug的删减版？别人至少传输的是平均logits还减少了传输量，这篇传输的还是模型，不知道哪里体现更少的通讯？