PIMRC2019,
论文地址:arvix
code: 没找到
贡献
- 提出FD 的一种变体,它将FD 正则化应用于平均概率向量,也应用于每个标签的平均输入,这些输入在离线阶段进行交换。这种方法称为混合 FD (HFD),可以帮助缩小 FL 和 FD 之间的性能差距;
- 提出并研究了在设备和接入点之间的高斯多址信道上实现 FL、FD和 HFD,如图 1 所示。我们特别考虑基于量化和信道编码的传统数字方案,以及基于量化和信道编码的传统数字方案。利用无线计算的模拟方案。
第二点模拟我是没咋看,但是第一点混合。。。。就是本地端先蒸馏,然后再正常训练几轮,这有啥用?
算法流程
IL( Independent Learning )就是在本地端上训练,
FL(Federated Learning )就是Fedavg,
FD(Federated Distillation)就是FD-FAug的FD部分,
文章提出的HFD是在FD上进行修改,本地更新时,先从PS( Parameter Server,就是server端)下载global logits(每个类别的全局平均logits)和globa