在资源受限下进行联邦多任务学习

联邦学习是一种新兴的分布式机器学习方法，它允许多个边缘设备在不共享原始数据的情况下合作训练机器学习模型。然而，多个并行的联邦学习任务可能会使资源受限的设备超负荷。

在这个工作中，本文提出了第一个能够有效协调和训练多个并行任务的联邦学习系统和方法MAS（Merge and Split），以优化多个同时进行的联邦学习任务的训练性能。MAS首先通过使用多任务架构将多个任务合并成一个多合一联邦学习任务。在训练多轮之后，MAS利用在多合一训练过程中采集的任务之间的亲和力将多合一任务分成两个或多个任务，继续训练。实验表明，MAS在减少训练时间2倍和减少能耗40%的同时，取得了优于其他方法的性能。

论文名称：MAS: Towards Resource-Efficient Federated Multiple-Task Learning

问题和挑战​​​​​​​

联邦学习是一种新兴的分布式模型训练方法，既保护隐私，又能够协同多个边缘设备进行模型训练。它已经在计算机视觉领域得到广泛的应用，比如医学影像分析和自动驾驶。

然而，绝大多数边缘设备，算力和存储资源和云服务器比都比较有限，它们通常只能实时支持单个联邦学习任务。如果在同一个设备上同时进行多个联邦学习任务可能导致设备内存超载、算力不足和电能消耗过大。

最简单的方法是，将这些联邦学习任务视为独立的训练任务，并按顺序进行训练 (One-by-one)。这种方法可以避免设备超负荷，但完成所有任务的训练速度较慢。

另一种解决方案涉及使用多任务学习训练多个联邦学习任务，将多个联邦学习任务组合成一个多任务学习的神经网络结构 (All-in-one)。从训练时间的角度来看，这种方法更加高效，但可能会导致性能下降，因为并不是所有任务都能同等受益于一起训练。它并没有有效