Exploiting Shared Representations for Personalized Federated Learning【2021 icml】

1.动机：

其中 fi表示第i个客户端上的损失函数， qi表示第i个客户端上的模型。但由于客户端上的数据较少，同时客户端数量庞大，客户端无法学习到一个很小损失的模型，因此在联邦学习中通过与服务器交换消息，使客户端能够协作，以便使用所有客户端的累积信息。
优点：模型可以使用所有客户端的数据进行。
作者的目标是学习和利用异质数据之间共同的表示来提高每个客户端的模型质量。(异质数据有共同的数据表示：eg：多种类型的图片之间有共享的特征)
具体来说，将数据异构的联邦学习问题视为并行学习任务，这些任务之间可能存在一些共同的结构，作者的目标是学习和利用这种共同的表示来提高每个客户端的模型质量。
同质的情况：所有的用户有相同的两例
异质的情况：用户有不同的两种类别
2，问题定义
我们考虑一个全局的表示 ϕ: Rd→Rk，将数据映射到一个更低的维度k，hi为客户端特定的头：Rk→Y。据此，第i个客户端上的模型是客户端上的局部参数和全局表示的组合：qi (x) = ( hi ∘ϕ ) (x) 。根据新的内容重新改写全局优化目标：

客户端使用所有客户的数据协同学习全局模型，同时使用自己的本地信息学习个性化的头
联邦表示学习 (FedRep) 利用跨客户端存储的全部数据量，使用基于梯度的更新来学习全局低维表示。此外，它使每个客户端能够计算一个个性化的低维分类器，称之为客户端的本地头部，它解释了每个客户端本地数据的唯一标签
在数据异构的环境中利用所有客户的数据和计算能力来为每个客户学习个性化模型。
3.提出的方法：FedRep
客户端：根据服务器传来的表示参数ϕt更新自己的hi

注：GRD（f，h，α）是使用函数f相对于h的梯度和步长α更新变量h的通用符号。
服务器端：一旦关于头和表示的本地更新完成，客户端通过向服务器发送其本地更新的表示 来参与服务器更新。然后，服务器对本地更新进行平均，以计算下一个表示ϕt。