参考文献:A Survey on Heterogeneous Federated Learning
1 联邦学习中的异构问题
-
数据异构
- 特征空间
- 标签空间
- ID空间
-
统计异构
一个数据集中的数据可能是non-iid的
解决方法:个性化:1)先训练一个全局模型,然后每个参与方根据自己的数据集对全局模型进行微调 2)直接为所有参与方训练个性化的模型(聚类)
-
系统异构
系统级的异构可影响FL训练过程,如不同的硬件、网络连接、供能,导致不同的计算、通信、存储能力
![image-20221110093245982](https://masterchef-1301213131.cos.ap-nanjing.myqcloud.com/markdown/202211101029141.png)
2 Hetero-FTL(异构联邦迁移学习)与VFL的区别
VFL只能对重叠样本进行推理,Hetero-FTL可以通过迁移学习对不重叠的样本进行推理
VFL:在推理阶段,主动方将user ID发送给所有参与方,然后每个参与方将自己的特征输入到 模型中并联合地预测接到过。如果用户ID不存在,则不能直接进行模型推理。因此,由于缺乏足够的关联训练数据和对齐的难度,VFL模型的可行性随着参与方数量的增加而显著降低。
Hetero-FTL:与VFL收集不同参与方的不同特征来训练一个更精确的模型相比,Hetero-FTL致力于将其他参与方的异构数据空间中的知识迁移到本地模型,以提高本地模型的表现。因此,Hetero-FTL降低了VFL中ID对齐的需求。当推理数据在双方之间不对齐时,Hetero-FTL中的参与方可以利用训练好的局部模型进行推理。由于该模型是通过从其他各方转移知识来训练的,因此该模型可以获得比仅在本地数据上训练的模型获得更高的性能。
3 FL中的数据隐私攻击
-
模型反演攻击
目的是从中间梯度或模型推理结果中重构模型参数
-
数据重建攻击
重构数据提供者提供的原始数据
-
成员推理攻击
目的是推理某个样本是否在训练集中