联邦学习的挑战、方法和未来方向

Federated Learning Challenges, Methods, and Future Directions

本文讨论了联邦学习的独特特征和挑战，提供了当前方法的广泛概述，并概述了与广泛的研究社区相关的未来工作的几个方向。

1. 背景：现代分布式网络中的设备（如移动电话、可穿戴设备和自动驾驶汽车等）每天会产生大量数据，由于这些设备的计算能力不断增强，以及对传输私人信息的担忧，在本地存储数据并将网络计算推向边缘的需求日益增加。

2. 概念：联邦学习是直接在远程设备上训练统计模型的一种学习方式，它与传统的分布式环境不同，需要在隐私、大规模机器学习和分布式优化等领域取得根本性的进展。

3. 核心挑战：

   • 昂贵的通信：联邦网络中的通信是一个关键瓶颈，需要开发高效的通信方法，以减少通信轮数和降低每轮传输消息的大小。
   • 系统异构性：联邦网络中设备的存储、计算和通信能力存在差异，且只有一小部分设备同时活跃，设备也可能不可靠，因此联邦学习方法需要考虑这些因素。
   • 统计异构性：设备生成和收集的数据通常是非独立同分布的，这违反了分布式优化中常用的假设，增加了训练的复杂性，同时也需要考虑个性化或设备特定的建模。
   • 隐私问题：联邦学习中的隐私问题是一个主要关注点，虽然通过共享模型更新（如梯度信息）而不是原始数据来保护每个设备上生成的数据，但通信模型更新仍可能泄露敏感信息，如何在理论和实践上理解和平衡隐私与模型性能、系统效率之间的权衡是一个挑战。

上图是联邦学习在移动电话上的下一个单词预测任务的示例应用。为了保护文本数据的隐私并减少网络上的压力，作者试图以分布式方式训练预测器，而不是将原始数据发送到中央服务器。

1.1 Problem Formulation

在联邦学习的问题表述（Problem Formulation）中，核心公式为：

其中各符号的含义如下：

• $$m：表示远程设备的总数。$$

• $$p_k：表示第个设备的相对影响权重。$$

• $$F_k（w）：表示第k个设备的本地目标函数。$$

• w ：模型的参数。 w：模型的参数。