基于深度强化学习的联邦学习客户选择

【摘  要】联邦学习是一种具有隐私保护的机器学习范式，它使各个客户在本地进行训练，只上传本地更新而不泄漏本地数据，最终实现合作训练全局模型。由于客户数量庞大，而通信资源有限，因此每次只能选择一部分客户执行聚合，但在典型的联邦学习场景中，不同客户之间表现出较大的异构性，如数据分布、硬件配置、通信状况等，在每一轮中随机采样可能无法有效利用各个客户的本地更新，导致模型收敛速度减慢、模型性能变差等。针对客户的数据质量以及通信质量的差异性，提出了一种基于双重延时深度确定性策略梯度算法（TD3）的客户选择算法，通过强化学习方法动态选择客户设备参与聚合，加速全局模型的收敛。在公开数据集上进行了大量的实验，结果表明，在考虑客户数据质量以及上行信道状况差异情况下，所提出的客户选择方法相比于随机选择以及通信贪婪选择，联邦学习效果更加鲁棒，且最终收敛的识别准确率更高。 

【关键词】联邦学习；深度强化学习；客户选择

0   引言

近年来，随着信息技术的不断发展，移动智能设备的数量呈现爆发式增长，导致了海量数据的产生，这些数据对于机器学习训练模型具有重大价值[1-2]。传统的机器学习收集数据至中心处理器进行训练及分析[3]，然而，由于数据量过大，集中式的训练会产生巨大的数据传输成本；并且随着人们对信息安全的关注度不断提高，个人用户对于数据隐私保护的需求愈加强烈，集中处理可能会出现隐私泄露问题[4]。同时，由于企业之间的相互竞争，数据往往以孤岛形式存在，无法直接利用[5]。

为了解决上述问题，联