arXiv | FedPer：带个性化层的联邦学习

前言

题目： Federated Learning with Personalization Layers
论文地址：Federated Learning with Personalization Layers

这篇论文在arXiv挂着时作者已经将其投到了AISTATS(International Conference on Artificial Intelligence and Statistics, 2020)，不过好像没有在会议官网找到这篇文章，应该是没有被录用。虽然没被录用，但这篇论文也具有一定参考意义。

FedPer

1. 模型

FedPer的视图如下所示：

可以看到，所有客户端模型共享基本层（蓝色），然后由于数据分布的不同，不同客户端模型具有不同的个性化顶层。

2. 问题定义

参数定义：

1. $K_B$：客户端模型基本层数量。
2. $K_P$：客户端模型个性化层数量。
3. $N$：设备总数。
4. ${\alpha }_{B,1},...,{\alpha }_{B,K_B}$：基本层的激活函数。
5. $W_B=(W_{B,1},...,W_{B,K_B})$：基本层权重矩阵。这里需要注意，基本层中不同层的权重矩阵可能具有不同的维度。
6. $W_{P_j}=(W_{P_j,1},...W_{P_j,K_P})$：第$j$个客户端的个性化层的权重矩阵。

因此，神经网络的forward pass可以描述为：

客户端的样本首先经过基本层，然后再经过个性化层，最后得到输出。forward pass可以简单描述为：
$$\hat{y}=f(x;W_B,W_{P_j})$$
不同客户端的基本层权重矩阵$W_B$是一样的，个性化层权重矩阵$W_{P_j}$不一样。

需要优化的损失函数：

即所有客户端损失的均值。

其中第$j$个设备上的损失定义为：

3. 算法

算法伪代码：

总体流程描述：

1. 服务器端初始化基本层权重$W_B^{(0)}$。
2. 客户端初始化自己的个性化层权重$W_{P_j}^{(0)}$。
3. 服务器端将$W_B^{(0)}$发送到各个客户端。
4. 服务器端和客户端都执行相同的循环：客户端收到服务器传来的基本层权重，然后利用本地数据来进行SGD更新：
   
   其中${\eta }_j^{(k)}$表示当前学习率，$e$为本地训练轮数，$b$为batch size。
5. 本地训练完毕后只将基本层权重传回服务器。
6. 服务器聚合所有客户端的基本层权重，然后分发给所有客户端，进行下一轮通信。

总得来说，FedPer与FedAvg有以下3点不同：

1. FedAvg每次需要随机选择客户端，而FedPer需要激活所有客户端。
2. FedAvg需要聚合所有参数，FedPer只是聚合基础层参数。
3. FedAvg中只有一个全局模型，所有客户端都使用该全局模型，而FedPer中每个客户端都有自己的个性化模型。

代码实现在下一篇文章！