阅读记录 【NeurIPS2021】Federated Multi-Task Learning under a Mixture of Distributions

Federated Multi-Task Learning under a Mixture of Distributions

Link: https://proceedings.neurips.cc/paper_files/paper/2021/hash/82599a4ec94aca066873c99b4c741ed8-Abstract.html

混合分布下的联邦多任务学习
Multi-Task Learning(MTL)

Abstract

智能手机和物联网设备生成的数据量不断增加，推动了联邦学习 (FL) 的发展，联邦学习是一种用于机器学习模型的设备上协作训练的框架。 FL 的最初工作重点是学习在客户端之间具有良好平均性能的单个全局模型，但由于本地数据分布固有的异质性，全局模型对于给定客户端可能会任意糟糕。联合多任务学习（MTL）方法可以通过制定适当的惩罚优化问题来学习个性化模型。惩罚项可以捕获个性化模型之间的复杂关系，但回避有关本地数据分布的明确统计假设。**在这项工作中，我们建议在每个本地数据分布都是未知底层分布的混合的灵活假设下研究联邦 MTL。**这一假设涵盖了大多数现有的个性化 FL 方法，并导致了适用于客户端-服务器和完全去中心化设置的联合类 EM 算法。此外，它提供了一种原则性的方法来为培训时未见过的客户提供个性化模型。通过一种新颖的联邦代理优化框架来分析算法的收敛性，该框架受到普遍关注。 FL 基准的实验结果表明，我们的方法提供的模型比最先进的方法具有更高的准确性和公平性。

Introduction

• 个性化联邦学习：FedAvg+MAML,一种方法是联合训练一个全局模型，每个客户端一个本地模型，每个客户端插值构建个性化模型，但如果局部分布与平均分布有差距，不存在相关的全局模型。每个客户端仅学习自己的局部数据。
• Clustered FL：分布近的客户端共享一个最佳全局模型。但极端情况下，如果每个客户端分布都很远，则集群数与客户端数一致。
• Multi-Task Learning (MTL)：[1][2]首先将FL视为MTL问题。FMTL定义为惩罚优化问题，其中惩罚项对任务（客户端）之间的关系进行建模。惩罚项过于复杂，算法只能学习简单的模型；想训练更通用的模型则只能考虑简单的惩罚项，从而失去捕获任务之间复杂关系的的能力。
• Hypernetwork：pFedHN，FedFOMO。占内存较大，还需要高通信轮次，或者可能不适合跨设备FL。

本文贡献：

1. 如果没有本地数据分布的假设，联邦学习是不可能的；
2. 针对1，假设每个客户端数据分布是M个底层分布的混合，这样每个客户端都可以从所有其它客户的数据集提取的知识中收益；
   • 个性化模型是M个共享组件模型的线性组合。所有客户端共同学习M个分量，每个客户端学习其个性化混合权重。
   • FedEM、D-FedEM
3. 这种假设可以涵盖文献中先前提出的大多数PFL。

Experiments

Datasets & Models

• Datasets
  • image classification: Cifar-10, Cifar-100
  • handwritten character recognition: EMNIST, FEMNIST
  • language modeling: Shakespeare
• Models
  • FedAvg, FedProx: global models
  • FedAvg+（PerAvg）, Clustered FL, pFedMe: personalized model

Task Setting & Results

Reference

[1] Virginia Smith, Chao-Kai Chiang, Maziar Sanjabi, and Ameet Talwalkar. “Federated MultiTask Learning”. In: Proceedings of the 31st International Conference on Neural Information Processing Systems. NIPS’17. Long Beach, California, USA: Curran Associates Inc., 2017, pp. 4427–4437. ISBN: 9781510860964.
[2] aul Vanhaesebrouck, Aurélien Bellet, and Marc Tommasi. “Decentralized Collaborative Learning of Personalized Models over Networks”. In: AISTATS. 2017.