异步联邦学习①-FedASMU

FedASMU: Efficient Asynchronous Federated Learning with Dynamic Staleness-aware Model Update

摘要

作为一种处理分布式数据的有前途的方法，联合学习近年来取得了重大进展。FL通过利用分散在多个边缘设备中的原始数据来实现协作模型训练。然而，数据通常是非依赖和同分布的，即统计异质性，边缘设备在计算和通信能力方面存在显著差异，即系统异质性。统计异质性导致精度严重下降，而系统异质性显著延长了训练过程。为了解决异构性问题，我们提出了一个异步陈旧感知模型更新FL框架，即FedASMU，它有两种新的方法。首先，我们提出了一种异步FL系统模型，该模型在服务器上使用更新的局部模型和全局模型之间的动态模型聚合方法，以获得更高的精度和高效性。然后，我们提出了一种自适应的局部模型调整方法，通过将新的全局模型与设备上的局部模型聚合来进一步提高精度。对6个模型和5个公共数据集的广泛实验表明，FedASMU在准确性（提高0.60%至23.90%）和效率（提高3.54%至97.98%）方面显著优于基线方法。

贡献：

在本文中，我们提出了一个具有过时感知模型更新的异步联合学习框架（FedASMU）。为了解决系统的异构性，我们设计了一个异步FL系统，并提出了一种动态调整方法来更新基于过时性和局部损失的局部模型和全局模型的重要性，以获得更高的精度和效率。我们使设备能够自适应地聚合新的全局模型，以减少局部模型的陈旧性。我们将本文的主要贡献总结如下：

•我们提出了一种新的异步FL系统模型，该模型在服务器上采用动态模型聚合方法，根据过时性和局部损失的影响调整更新的局部模型和全局模型的重要性，以获得更高的准确性和高效性。

•我们在设备上提出了一种自适应的局部模型调整方法，将新的全局模型集成到局部模型中，以减少老化，获得卓越的精度。模型调整包括选择适当时隙来检索全局模型的强化学习（RL）方法和调整局部模型聚合的动态方法。

系统模型：

服务器以恒定的时间周期T触发m’设备的本地训练。培训过程由多轮全球培训组成。在训练开始时，全局模型的版本为0。然后，在每个全局回合之后，全局模型的版本增加1。每个全局回合由7个步骤组成。

①服务器触发m′（m′≤m）个设备，并向每个设备广播全局模型wo。m’设备是随机选择的可用设备。

②每个设备使用其本地数据集执行本地训练。

③在本地训练过程中，设备i请求新的全局模型以减少局部训练的陈旧性，因为全局模型可以同时更新。

④服务器将全局模型wg发送到设备，

⑤如果wg比wo新，即g>o。在接收到新的全局模型之后，设备将全局模型和最新的局部模型聚合为新模型，并使用新模型继续进行本地训练。

⑥当本地训练完成时，设备i将本地模型上传到服务器。

⑦最后，服务器将最新的全局模型wt与上传的模型聚合。当聚合全局模型wt和上传的局部模型时ÿ