联邦学习——Base + Personalization Layers的另一种玩法

在典型的联邦学习中，不同设备之间的数据分布差异很大。为了缓解这种统计异质性的不利影响,《Federated learning with personalization layers》这篇文章给出了一个新的思路：将模型分为基础层和个性化层，提出了名为 FedPer 的架构。与联邦迁移学习(即首先对所有层进行全局训练，然后对所有或个别层进行局部数据再训练)不同，FedPer 先在全局数据上训练基础层，再在本地数据上训练个性化层，避免了联邦迁移学习需要重训练的问题。
《Exploiting Shared Representations for Personalized Federated Learning》所提出的 FedRep 算法就类似于 Base + Personalization Layers 的形式。但它基于“数据间通常存在一个 global feature representation，而 client 或 task 之间的统计异质性主要集中在 labels 上”这一直觉，提出用基础层来学习数据间的 global feature representation 的降维表示，以缓解 Non-IID 对模型训练的影响，用个性化层作为每个 client 唯一的 local head 实现个性化。
那废话不多说，我们直接看这个算法长什么样。下图就是FedRep的图示结构

• global representation $\phi :$