【论文阅读】Personalized Cross-Silo Federated Learning on Non-IID Data

一、目的

这篇文章被AAAI2021接收。由于联邦学习存在数据non-iid分布，论文认为单一全局模型无法适合所有client，因此采用个性化联邦学习，为每个client提供个性化的模型。

二、方法

1、个性化联邦学习目标：

2、解决个性化联邦学习

（1）提出一般方法

• 改写上图（1）中的目标：
  

• 对（2）中的$\mathcal{A}$ 进行梯度下降优化
  

• 采用邻近点算法来更新$W^k$
  

（2）FedAMP

• 对$U_i^k$矩阵，整理${\mathbf{u}}_{\mathbf{i}}^{\mathbf{k}}$有
  

可以看出 ${\mathbf{u}}_{\mathbf{i}}^{\mathbf{k}}$ 是 ${\mathbf{w}}_1^{\mathbf{k}-1},...,{\mathbf{w}}_{\mathbf{m}}^{\mathbf{k}-1}$ 的线性组合，通俗的说，这样做使节点i集合了其他节点的权重信息。

• 根据注意传递函数$A$的的定义，可知$A^{\prime }$是非负非递增的，因此 $\Vert {\mathbf{w}}_{\mathbf{i}}^{\mathbf{k}-1}-{\mathbf{w}}_{\mathbf{j}}^{\mathbf{k}-1}{\Vert }^2$ 越小， $A^{\prime }(\Vert {\mathbf{w}}_{\mathbf{i}}^{\mathbf{k}-1}-{\mathbf{w}}_{\mathbf{j}}^{\mathbf{k}-1}{\Vert }^2)$ 越大，$A^{\prime }$是一个相似度函数。这样，我们根据${\mathbf{u}}_{\mathbf{i}}^{\mathbf{k}}$的定义，可以看到，越相似的节点，对彼此的权重越高，影响越大。

由此形成了联邦训练过程中的正反馈，相似节点成对协作，加速收敛。

（3）HeurFedAMP

FedAMP的一种启发式方法，论文引用相关文献说明在维度很高的情况下，用欧几里得距离来测量两者的差异并不那么有效。

因此，HeurFedAMP重新定义了权重：

即，两者参数的余弦相似度更大，则权重更大，协作更多。

余弦相似度在评价高维模型参数间的相似度时比欧氏距离更具有鲁棒性。

三、总结

这篇文章的思想和算法不难看懂，亮点在于用理论去得到算法，有很扎实的理论基础，很有说服力。