联邦学习中常见的Clients数据Non-IID非独立同分布总结

写在前面

在介绍联邦学习客户端之间数据Non-IID分布前，我们需要先了解Dataset Shift的概念。

联邦学习中客户端之间Non-IID分布和我们在做机器学习任务时可能遇到的训练集与测试集分布不一致其实是一个道理（因为你可以把训练集想象成客户端1，测试集想象成客户端2）。

训练集和测试集分布不一致被称作数据集偏移(Dataset Shift)。西班牙格拉纳达大学Francisco Herrera教授在他PPT《Dataset Shift in Classification: Approaches and Problems》里提到数据集偏移有三种类型:

• 协变量偏移(Covariate Shift): 独立变量的偏移，指训练集和测试集的输入服从不同分布，但背后是服从同一个函数关系，如图1所示。
  

• 先验概率偏移(Prior Probability Shift): 目标变量的偏移。