去中心化联邦学习FL论文阅读13

Decentralized federated learning of deep neural networks on non-iid data    non-iid数据下的深度神经网络的分布式联邦学习

介绍   

        在集中式的联邦学习中，服务器遭受攻击可能会使整个系统瘫痪，因此，本文研究去中心化的联邦学习，即在对等环境，数据分布在许多客户端上，且没有中央服务器来协调训练。此外，现实世界中客户端之间的数据分布往往是异构的。因此，本文研究了如何在客户端具有non-iid数据的对等系统中进行去中心联邦学习训练的问题。

       本文提出了一种基于性能的邻居选择方法（PENS），其中客户端通过评估彼此收到的模型在彼此数据集上的训练损失来检测彼此并进行合作，以学习适合本地数据分布的模型。

       补充1：具有相似数据分布的客户端具有更高的协作概率，而具有不同数据分布的客户具有更低的协作概率。

       补充2：在去中心化的FL中，不存在全局模型，参与的客户遵循通信协议以达成模型的共识。客户端基于本地数据训练自己的模型，并遵循通信协议与其他客户通信，即随机地与邻居通信（八卦）自己的模型参数。参与客户的总目标是就一个好的模型达成共识。

系统模型

        系统优化目标为最小化损失函数：

        其中，模型参数为w，数据z=（x，y），数据分布Di（x，y）。

        本文的另一个亮点是研究了协变位移的问题，即对数据集中的图像旋转r度，r∈｛0，180｝或r∈{0，90，180，270｝，而标签不变，则客户端的数据分布变为，本文设计一种既能识别又能执行分布式优化的算法。（这个的目的是增加non-iid性）

算法

随机八卦通信

       每个客户端对于随机的初始化模型，使用SGD进行本地模型训练。然后，客户端i的模型参数wi在随机时间与随机选择的相邻客户端j进行通信，即。最后，客户端j等待n个模型后，将其自己当前的模型与接收到的模型进行平均聚合，即

        随机八卦算法中存在一个问题，即如果具有不同数据分布的两个客户端进行通信，当它们的模型被聚合时，模型的性能通常会变差。

        为了解决这个问题，我们引入了基于性能的邻居选择PENS，客户端接收到来自其他客户端的模型时，基于本地数据集对模型进行评估，若模型的训练损失较低，则具有相似数据分布，客户选择其作为自己的潜在邻居。

PENS

PENS包括两个主要步骤：

第一步，找到具有相似数据分布的客户端进行通信。具体方法是：客户端j接收到来自其他客户端的模型时，基于本地数据集对模型进行评估，若模型的训练损失较低，则具有相似数据分布。因此，每个客户端等待n个模型，并选择前m个性能最好（损失最小）的客户端作为具有相似数据分布的潜在邻居。

第二步，对于从第一步中选择的客户端子集，遵循随机八卦协议。

        对于上述算法，主函数与随机八卦相比，主要是增加了邻居选择函数； 模型接收函数增加了一个损失函数计算，同时接收到不仅仅是模型，还有损失函数