联邦学习non-IID（非独立同分布）（分布差很大）的几种情况

第一种：Feature Distribution Skew（特征分布偏差）标签相同但是分布不同

尽管数据中心的标签分布类似，但特征分布不同。例如，一个数据中心包含的是中华田园猫和中华田园犬的图片，而另一个数据中心包含的是波斯猫和哈士奇的图片。这些不同种类的猫和狗的外观差异较大，会导致模型难以在不同数据中心之间泛化。

①小张：有波斯猫和哈士奇狗

②小王：有田园猫和中华田园狗

虽然标签都是狗，但是它们不同，如果是iid，是在同一种猫或者狗中进行的采样

第二种：Label Distribution Skew（标签分布偏差）（各数据中心之间的标签种类不同）

指不同客户端或数据中心的标签类别不同。例如，一个数据中心的数据集中只有猫和狗，另一个数据中心则只有飞机和汽车，类别之间完全不同。这会导致各数据中心的数据类别不一致，从而影响模型在多样化数据上的表现。

①小张：只有猫

②小王：只有狗

③小明：只有虎

第三种：Label Distribution Imbalance（标签分布不平衡）（每个数据中心内部的标签比例不均匀）

指在每个客户端或数据中心内部，标签类别的比例不平衡。例如&#x