参考文献:A Survey on Heterogeneous Federated Learning
1 联邦学习中的异构问题
-
数据异构
- 特征空间
- 标签空间
- ID空间
-
统计异构
一个数据集中的数据可能是non-iid的
解决方法:个性化:1)先训练一个全局模型,然后每个参与方根据自己的数据集对全局模型进行微调 2)直接为所有参与方训练个性化的模型(聚类)
-
系统异构
系统级的异构可影响FL训练过程,如不同的硬件、网络连接、供能,导致不同的计算、通信、存储能力

2 Hetero-FTL(异构联邦迁移学习)与VFL的区别
VFL只能对重叠样本进行推理,Hetero-FTL可以通过迁移学习对不重叠的样本进行推理
VFL:在推理阶段,主动方将user ID发送给所有参与方,然后每个参与方将自己的特征输入到 模型中并联合地预测接到过。如果用户ID不存在,则不能直接进行模型推理。因此