具有概率节点选择的FL(FedPNS)

一、Title

二、引言：

联邦学习(FL)是一种分布式学习范式，它允许大量资源有限的节点在没有数据共享的情况下协同训练模型。非独立和同分布的(non-i.i.d.)数据样本调用了全局目标和局部目标之间的差异，使得FL模型的收敛速度较慢。在本文中，我们提出了最优聚合算法，该算法通过检查局部梯度和全局梯度之间的关系，通过识别和排除不利的局部更新，找出每个全局回合中参与节点的局部更新的最优子集。然后，我们提出了一个概率节点选择框架(FedPNS)，根据最优聚合的输出，动态地改变每个节点的选择概率。FedPNS可以优先选择能够促进模型快速收敛的节点。从理论上分析了FedPNS比常用的联邦平均(FedAvg)算法收敛速度的提高。实验结果表明，与采用随机节点选择的FedAvg相比，FedPNS具有加速FL收敛速度的有效性。

三、模型

具有概率节点选择的FL(FedPNS)
在贡献的全局模型上提供不同节点的多样性，为了提高收敛速度，可以优先选择贡献较高的节点(即具有i.i.d.的节点数据集，如[6]，[17])
因此，我们提出了一种概率节点选择设计，根据其与数据分布相关的贡献，动态地改变每一轮通信中每个节点被选择的概率，这可以通过最优聚合中的过程检查期望来区分。
正如我们所知，在每一轮的FL中，都选择了一些节点来参与局部训练和全局聚合。对于那些局部更新减缓模型收敛的节点，降低节点选择概率是很自然的。
因此，在服务器端，我们建议通过使用最优聚合(即S)的输出来动态地改变每个节点被选择的概率。特别是，那些由过程检查期望(即S-S)标记的节点的概率会根据（7）中的参数而降低，其余所有节点的概率都会增加。