【FedMD，一种利用模型蒸馏的异构FL训练方法】FedMD: Heterogenous Federated Learning via Model Distillation

原文标题：FedMD: Heterogenous Federated Learning via Model Distillation

涉及 迁移学习、模型蒸馏。

异构FL

分为数据的异构 （statistical heterogeneity） 和 模型的异构 （the differences of local models）。
模型的异构FL 指的是 Each participant independently designs its own model.

研究意义

1. realistic：in a business facing setting, where each participant has capacity（不同设备计算力不同，因此设计的模型也不同） and desire to design their own unique model.
2. not be willing to share details of their models due to privacy and intellectual property concerns.

FedMD

Problem definition

实现

用公有数据集作为媒介，利用所有 local model 对公有数据集的预测矢量的平均作为新的训练标签，返回对本地模型再进行训练，实现知识迁移式的模型蒸馏。

实验

主要看一下他是怎么设计实验的，十个 clients 每人设计了一个独特的模型，区分度在 filters 和 dropout rate 上。