异步个性化联邦学习

wuwang365

已于 2024-08-26 19:22:29 修改

阅读量429

点赞数 4

文章标签：深度学习

于 2024-08-20 21:59:38 首次发布

本文链接：https://blog.csdn.net/thick__fog/article/details/141369518

版权

EchoPFL: Asynchronous Personalized Federated Learning on Mobile Devices with On-Demand Staleness Control

请科研君帮帮引用：引用格式：Li X, Liu S, Zhou Z, et al. EchoPFL: Asynchronous Personalized Federated Learning on Mobile Devices with On-Demand Staleness Control[J]. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2024, 8(1): 1-22.

问题背景

具有丰富传感数据和本地计算能力的移动设备的兴起推动了这些设备上联邦学习（FL）的趋势。个性化联邦学习 (PFL) 的出现旨在为每个移动设备训练特定的深度模型，以解决数据异构性和不同的性能偏好问题。然而，不同移动设备上训练时间差异很大，导致上传模型的延迟（当等待较慢的设备进行聚合时）或准确性下降（当聚合不等待而继续进行时）。

问题动机

EchoPFL拟采用异步异步个性化联邦学习，即服务器在更新可用时立即聚合更新。然而，现有的异步协议不适合 PFL，因为它们是为单个全局模型的联合训练而设计的。当面临 PFL 中普遍存在的严重数据异质性时，它们会出现收敛缓慢和准确性下降的问题。此外，它们通常会排除速度较慢的设备来进行过时控制，当这些设备拥有关键的个性化数据时，这会显着影响准确性。因此，我们提出了EchoPFL，一种异步PFL的协调机制。 EchoPFL 的核心是包含所有移动设备的更新，无论其延迟如何。为了应对慢速设备不可避免的陈旧问题，EchoPFL 重新修改了模型广播。它利用无线网络中的不对称带宽和基于动态集群的 PFL，自适应的进行按需广播。

解决方法

在这里插入图片描述
图一：EchoPFL系统概览图

数据感知动态客户端集群：通过增量聚类和基于运行时反馈的聚类结构调整实现高效且准确的异步个性化聚类。方法基于预定义的聚类数量，首先根据权重参数间的L1距离进行快速聚类，其次根据运行时的聚类结果反馈采用特征之间的KL散度进行聚类调整。
集群内自适应模型广播：在确定了集群后，EchoPFL会根据需要向集群内的客户端广播最新的聚合模型。由于集群内的数据分布相对均匀，对一定程度的过时具有更强的容忍度。此外，EchoPFL还能够预测最佳的广播频率，以在不影响准确性的情况下进一步降低下游通信成本。

数据感知动态客户端集群

动态性：EchoPFL系统通过动态客户端集群管理来处理异步PFL（个性化联邦学习）中的异构数据问题。当本地模型更新异步到达时，系统能够即时对客户端进行初步的集群分配，并定期进行集群的反馈修正。
初始分配：当一个客户端的模型更新到达时，系统会计算该模型与现有集群中心的相似性（基于L1距离），并将其分配到最相似的集群中。这种实时分配机制能够迅速地响应客户端的异步到达。
反馈修正：客户端会根据服务器分配的模型在本地数据集上的表现反馈信息，服务器基于这些反馈信息定期调整集群分配。这种反馈机制确保了集群的准确性，并允许系统在异步环境中不断优化集群配置。
集群内自适应模型广播

广播频率预测

为了控制模型的陈旧性，EchoPFL系统在集群内进行自适应的模型广播。系统通过RNN模型预测每次模型聚合后的模型变化，并根据预测的模型变化量动态决定是否进行广播。
带宽利用：EchoPFL利用无线网络中的下行带宽优势，在需要时向集群内的客户端广播最新的聚合模型，从而避免了因模型陈旧性引起的精度下降或收敛速度变慢。
通信成本优化：相比于传统的联邦学习方法，EchoPFL通过限制广播范围和优化广播频率，在降低通信成本的同时，保持了模型的训练精度和收敛速度。

实验结果

模型精度与训练时延：

EchoPFL在三个典型的移动任务上（图像识别、活动识别和声音检测）展现了出色的精度和训练时延平衡。
与其他基线相比，EchoPFL在所有任务中均表现出最高的精度。例如，在Ubisound任务上，EchoPFL的精度提升了37.4%、35.4%、35.8%和35.6%（分别相对于FedAsyn、FedAvg、Oort和FedSEA）。
在CIFAR-10数据集上，EchoPFL的训练速度比基线快3.7倍。
通信成本：
EchoPFL的总体通信成本相比FedAvg减少了37%，相比FedSEA减少了25%，且与FedAsyn的通信成本相当。
EchoPFL通过提高下载频率（比FedAvg高3.12倍），但降低了训练时延（比FedAsyn低20.6%），从而优化了通信效率。
真实世界场景中的性能：
在一个为期两天的自动图像文件清理应用实验中，EchoPFL在非IID数据分布和动态数据偏移的情况下，保持了较高的平均本地测试精度，并动态调整了客户端集群以适应数据分布的变化。

系统实用性

方法一方面实现了异步条件下的个性化聚类，另一方面能够适应客户端动态的数据变化，进行按需聚类调整，从而维持在线高精度

Bibtex

@article{li2024echopfl,
  title={EchoPFL: Asynchronous Personalized Federated Learning on Mobile Devices with On-Demand Staleness Control},
  author={Li, Xiaochen and Liu, Sicong and Zhou, Zimu and Guo, Bin and Xu, Yuan and Yu, Zhiwen},
  journal={Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies},
  volume={8},
  number={1},
  pages={1--22},
  year={2024},
  publisher={ACM New York, NY, USA}
}