【论文阅读】(FedMeta)Federated Meta-Learning with Fast Convergence and Efficient Communication

yued0997

已于 2023-11-15 11:20:16 修改

阅读量1k

点赞数 3

文章标签：论文阅读

于 2023-11-08 23:28:31 首次发布

本文链接：https://blog.csdn.net/qq_56483157/article/details/134243641

版权

文章介绍了一种新的联邦学习框架FedMeta，结合元学习方法，提高模型的收敛速度和准确性，同时保护用户隐私。FedMeta通过共享参数化算法而非数据，降低了通信和计算成本，尤其在处理非独立同分布数据时表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

主要工作：

提出了一个联邦元学习框架 FedMeta，允许以更灵活的方式共享参数化算法（或元学习器），同时保留客户端隐私，而无需收集到服务器上的数据。

优势：

收敛速度更快，通信成本降低。
与联邦学习中领先的优化算法联邦平均(FedAvg)相比，准确率提高了3.23%-14.84%。

引言

联邦学习存在的两大挑战：

对于统计挑战，分散的数据是非IID、高度个性化和异构的，从而导致模型准确度显著降低。

对于系统性挑战，设备的数量通常比传统的分布式设置多几个数量级。此外，每个设备在存储、计算和通信能力方面可能会有显著约束。

联邦学习的不足之处：

联邦学习需要训练一个大型n-way分类器来利用来自所有客户机的数据，而其实仅k-way分类器就足够了，因为它每次只对一个客户机进行预测。庞大的模型增加了通信和计算成本。可以只向客户端发送模型的一部分来更新相关参数，但这需要事先了解客户端的私有数据来决定该部分。

元学习的优势：

在元学习中，目标是在一系列任务上学习一个模型，以便它可以仅使用少量样本来解决新任务

基于初始化的元学习算法，如MAML，在快速适应和在新任务上具有良好泛化性方面是众所周知的，这使得它特别适用于分布式训练数据非IID和高度个性化的联邦设置。

在元学习中，算法可以训练包含不同类别的任务。例如，模型不可知元学习(Model-Agnostic Meta-Learning, MAML)算法，可以通过对k-way任务进行元训练来提供k-way分类器的初始化，而不考虑具体的类别。

联邦元学习

元学习方法：

元学习的目标是元训练一个算法A，以便能够快速训练模型，例如深度神经网络，用于新任务。算法Aφ通常是参数化的，其中其参数φ在元训练过程中使用一组任务进行更新。

元训练中的一个任务T包括一个支持集 $D_{S}^{T} = \left \{ \left ( x_{i},y_{i} \right ) \right \}_{i=1}^{\left |D_{S}^{T} \right |}$ 和一个查询集 $D_{Q}^{T} = \left \{ \left ( x_{i}^{'},y_{i}^{'} \right ) \right \}_{i=1}^{\left |D_{Q}^{T} \right |}$ ，两者都包含标记的数据点。算法A 在支持集上训练模型f，并输出参数 $\theta _{T}$ ，我们称之为内更新。然后，模型 $f_{\theta _{T}}$ 在查询集 $D_{S}^{T}$ 上进行评估，计算出一些测试损失 $L_{D_{Q}^{T}}$ 来反映Aφ的训练能力。最后，更新Aφ以最小化测试损失，我们称之为外更新。

元学习训练过程：

在元学习中，通过元训练过程缓慢地从大量任务中学习一个参数化的算法（或元学习器），该算法在每个任务中快速训练一个特定模型。一个任务通常包含一个互斥的支持集和一个查询集。一个特定任务的模型在支持集上进行训练，然后在查询集上进行测试，并使用测试结果来更新算法。

对于服务器端而言：

初始化参数θ（MAML）或者参数θ和超参数α（Meta-SGD）。

对于每一轮episode t，执行以下步骤：
        a. 从所有客户端中随机选择一个大小为m的子集 $U_{t}$ ，并将参数θ（MAML）或者参数θ和超参数α（Meta-SGD）分发给这些客户端。
        b. 并行地对选定的每个客户端u∈ $U_{t}$ 执行以下步骤：
                i. 使用参数θ对客户端的本地数据进行模型更新，计算测试损失gu。