FD-FAug：Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation

NeurIPS2018，应该是第一篇结合蒸馏和联邦的文章了，所以从这开始看顶会顶刊的文章，希望尽快有自己的想法。文章将通讯传递的模型梯度换成了类别平均logits提升了通讯效率，使用GAN生成图片处理数据异构问题。

论文地址：arxiv
code: 没找到

贡献

1. 提出联邦蒸馏（FD）提高通信效率，这是⼀种分布式在线知识蒸馏方法，其通信有效负载大小不取决于模型大小，而是取决于输出维度
2. 联合增强（FAug）纠正非 IID训练数据集，这是⼀种使用生成对抗网络（GAN）的数据增强方案，该方案基于 GAN 的数据增强方案在隐私泄露和通信开销之间进行权衡。经过训练的 GAN 使每个 client 能够本地再现所有 clients 的数据样本，从而生成 IID 数据。

网络流程

咋说呢？这个流程只改动了运用到知识蒸馏的部分，也就是损失加上蒸馏损失，传的参数改成logits。