pFedHN论文阅读笔记

《Personalized Federated Learning using Hypernetworks》提出一种用于个性化联邦学习的方法“pFedHN” （personalized Federated HyperNetworks）。该方法通过训练中央超网络模型，实现跨客户端的参数共享，并为每个客户端生成独特的个性化模型。
该方法的创新点主要有以下两点：
1、该超网络具备较强的泛化能力，即便（a）新的客户端的数据分布不同于训练时的客户端，（b）新的客户端具备不同的计算性能（这使得不同客户端可以训练不同规模的模型。）
2、超网络的参数不需要传输，所以超网络的模型大小不影响通信成本。

pFedHN具体是啥？

pFedHN中的超网络是一个深度神经网络，可以同时学习一系列目标网络（各客户端的个性化模型参数）。如下图所示，其中h(；φ)表示由φ参数化的超网络，f(；θ)代表由θ参数化的目标网络。超网络位于服务器上，通过客户端描述符$v_i$初始化目标网络参数。$v_i$可以是客户端的可训练嵌入向量，也可以是固定的，前提是预先知道一个好的客户端representation。
子图b：给定$v_i$，超网络输出第i个客户端的模型参数${\theta }_i$ =${\theta }^{}$