联邦学习论文汇总---十五

FedMD: Heterogenous Federated Learning via Model Distillation

背景

1.深度学习可以自动感知和推理，需要大型数据，系统异构性（本地异步解决了一部分)，统计异质性性，需要创建自己的模型满足不同的规范，

现有工作

1.为凸问题的多任务学习提供一种框架
2.基于贝叶斯、元学习和迁移学习

创新

1.迁移学习+知识蒸馏开发框架，每个用户有私有数据和私有模型
2. 异构：局部模型的差异，参与者转化知识

迁移内容

1.每个模型对公有训练集训练，对私有数据集训练
2.黑箱模型基于输出类分数，与公共数据集样本通信

问题定义

数据集划分

结构

结构

1.公共数据集是MNIST，私有数据集是FEMNIST
2.公共数据集是CIFAR-10,私有数据集时Cifar100，

未来工作

1.特征转换和经济通信协议
2.扩展到涉及数据量、模型容量和本地任务巨大差异的异构。