2023-11 FedALA:个性化联邦学习的自适应本地聚合

原文标题：FedALA: Adaptive Local Aggregation for Personalized Federated Learning

作者：Jianqing Zhang1, Yang Hua2, Hao Wang3, Tao Song1, Zhengui Xue1, Ruhui Ma1*, Haibing Guan1

摘要

FedALA的关键组件是自适应局部聚合(Adaptive Local Aggregation, ALA)模块，该模块可以自适应地将下载的全局模型和局部模型聚合到每个客户端上的局部目标，以便在每次迭代训练之前初始化局部模型。

1 简介

FL的一个关键挑战是统计异质性，例如，非独立和同分布(Non-IID)和跨客户端的不平衡数据。这类数据使得很难获得泛化到每个客户端的全局模型。与传统的FL不同，传统的FL通过跨客户端的分布式训练来寻求高质量的全球模型，例如FedAvg (McMahan et al. 2017)， pFL方法被提议优先为每个客户端训练本地模型。

提出了pFL方法，以优先考虑每个客户的局部模型训练

只有提高本地模型质量的所需信息才对客户有利。

全局模型对单个客户端同时具有期望和不期望的信息，泛化能力较差。

一个客户端模型中的所有参数都被赋予相同的权重，即模型级权重。此外，在客户端之间下载客户端模型会在每次迭代中造成很高的通信开销，并且还存在隐私问题，因为其他客户端数据可以通过这些客户端模型恢复。此外，feffomo /APPLE还需要在下载的客户端模型中前馈数据以获得聚合权重，这引入了额外的计算开销。由于FedAvg中学习过程的重大修改，这些方法中的个性化聚合过程不能直接应用于大多数现有的FL方法。

在每个客户端下载的全局模型中精确地捕获所需的信息，而不会在每次迭代中产生额外的通信开销。

FedALA只下载一个全局模型，并在每个客户端上传一个本地模型，与FedAvg相同的通信开销，它也有更少的隐私问题，比FedFomo和APPLE更有效的通信。通过在完整的本地数据集上对局部目标自适应地学习实值和按元素的聚合权重，FedALA可以在元素级别捕获全局模型中所需的信息，这比PartialFed中的二进制和按层的权重学习更精确。由于深度神经网络(DNN)中的较低层比较高层学习更多的一般信息(Yosinski等人，2014;LeCun, Bengio, and Hinton 2015)，我们可以通过只在更高的层上应用自适应本地聚合(ALA)模块来进一步降低计算开销。