基于背包模型的联邦学习客户端选择方法

 

目录

0 引言

1 系统模型

图1

2 算法设计

2.1 计算更新前后的权重差值的二范数

2.2 基于离线背包模型的联邦学习：OfflineKP-FL

图2

2.3 基于在线背包模型的联邦学习：OnlineKP-FL

图3

---

摘要

近年来，为了打破数据“壁垒”，联邦学习被广泛关注。联邦学习不需要客户端上传原始数据就能完成模型训练，保护了用户的隐私。针对客户端设备具有异构性的问题，考虑各个客户端对加速全局模型收敛的贡献程度和系统的通信开销，以最大化客户端在本地训练模型的权重变化量为优化目标，解决在一定系统训练周期下的联邦学习中的客户端选择优化问题。由此，提出了两个基于背包模型的联邦学习协议，分别是OfflineKP-FL协议和OnlineKP-FL协议。OfflineKP-FL协议基于离线背包模型选择合适的客户端参与全局模型的聚合更新。为了降低OfflineKP-FL协议的复杂度，进一步基于在线背包模型选择用户提出了OnlineKP-FL协议。通过仿真发现，在特定情况下OfflineKP-FL协议有更高的收敛速度，优于之前提出的方法。而与OfflineKP-FL协议和FedCS协议相比，OnlineKP-FL协议下，系统不仅每轮选择更少的用户，而且能够在FedCS协议所需时间的64.1%内完成模型训练，使全局模型达到相同精度。

关键词： 联邦学习 ; 客户端选择 ; 背包模型

0 引言