个性化联邦学习(Personalized Federated Learning,PFL) 介绍（上）

个性化联邦学习(Personalized Federated Learning,PFL) 介绍（上）

根据数据在参与实体之间的特征和样本空间分布方式，迁移学习可以分为水平迁移学习(HFL)、垂直迁移学习(VFL) 和 联邦迁移学习(FTL)。

可以参考我的上一篇博客：入口

现有的PFL工作主要集中在HFL设置上，HFL的应用场景占了大部分。

---

PFL的动机

上图显示了集中式机器学习(CML)、FL和PFL的关键概念和动机。

• CML：数据在云服务器中汇集在一起以训练ML模型。CML模型从丰富的数据量中获得了很好的泛化效果。然而，由于传输到云的数据量庞大，CML面临带宽和延迟方面的挑战。也不能保护数据隐私或不能很好地个性化。

• FL：支持以保护隐私的方式对数据孤岛进行协作模型训练，具有通信效率，因为它只传输模型参数，与传输原始数据相比，模型参数的大小只是一小部分。然而，通用的FL方法 (1)对高度异构数据的收敛性差;(2)缺乏解决方案个性化。在存在异构本地数据分布的情况下，这些问题会降低全局FL模型在单个客户机上的性能，甚至可能使受影响的客户机不愿加入FL进程。

• PL：与传统FL相比，PFL的研究旨在解决这两个挑战。

  1. 异构数据收敛性差： 在iid数据上学习时，FedAvg的准确性会显著降低。这种性能下降归因于客户端漂移现象，这是在非iid的本地数据分布上进行本地训练和同步的结果。

     下图显示了客户端漂移对iid和非iid数据的影响。在FedAvg中，服务器更新趋向于客户端最优的平均值。当数据为iid时，平均模型接近全局最优值 $w^{\ast }$，因为它与局部最优值 w 1 ∗ w^∗_1 w