NeurIPS 2020
论文地址:arxiv
code: 没找到
贡献
- 提出了一个用于鲁棒联邦模型融合的蒸馏框架,允许客户端模型异构、数据异构,并且对神经架构的选择具有鲁棒性。
- 服务器模型可以更快地训练,比现有的 FL 技术更少的通信轮次。
算法流程
和正常的FL区别不大,就是在server端和client端更新的时候多算了蒸馏损失。
更新server端时,全局模型作为蒸馏中的student模型更新,从client接收到的多个模型作为多个teacher模型,全局初始模型是由teacher模型平均得到,用teacher模型输出logits的平均值AVGLOGITS和student模型的logits做KL损失进行更新。最后student模型下发到客户端。
server端的数据来源有三个可能1)existing (unlabeled) datasets; 2)BigGAN’s generator; 3)public dataset(downsampled ImageNet)。
更新client端时,就是正常的蒸馏实验,用client本地的数据,没啥好说的。
如果模型异构的话,唯一的不同点就在于server端模型聚合部分,文中解法就是把架构相同的模型进行聚合,有几种不同的模型就聚合输出几种模型。。。真是简单粗暴。。。。
说实话我没看出来和FD-FAug那篇比有啥改进?感觉还没之前的好?
疑问
- 这篇20年的文章感觉是18年的那篇FD-FAug的删减版?别人至少传输的是平均logits还减少了传输量,这篇传输的还是模型,不知道哪里体现更少的通讯?