联邦学习论文阅读：Fair Resource Allocation in Federated Learning

最新推荐文章于 2024-12-20 10:28:49 发布

thormas1996

最新推荐文章于 2024-12-20 10:28:49 发布

阅读量4.1k

点赞数 6

分类专栏：联邦学习文章标签：联邦学习梯度更新的公平性

本文链接：https://blog.csdn.net/thormas1996/article/details/90769966

版权

本文探讨了联邦学习中公平资源分配的问题，旨在确保全局模型最优的同时，提升每个用户模型的本地准确性。作者提出了一种新的损失函数和q-FedSGD算法，通过一阶导数和二阶导数的比值进行梯度更新，以实现更公平的性能分布。这种方法允许在不同公平性需求下调整q值，而不需要为每个q值重新调整学习率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

arXiv上刚刚挂的一篇文章Fair Resource Allocation in Federated Learning，作者是CMU的AP Virginia Smith组的，搜了一下主页，居然是一个超级年轻的小姐姐~

这篇文章思路很straight-forward，逻辑也很清楚，唯一有点缺点的是可能时间比较赶，第一版上传的还是draft，文章还没修改完

Motivation
之前横向联邦学习一般都是follow google的FedAvg算法，将所有用户（或者随机一部分）更新的梯度取个平均作为中心模型的更新参数。显然，这种做法虽然对于所有用户来说，全局模型最后会收敛到一个最优值，但是对于单个用户，这个模型并不一定能达到局部最优。作者将之视为一个resource allocation fairness的问题，希望在全局最优的情况下，让所有用户个体都尽可能地达到最优值。

那么现在的问题是：怎么在全局模型的准确率不变的情况下，让每个用户模型的本地准确率也达到最高。作者认为当用户本地模型准确率偏离全局模型准确率的方差最小时可以认为这个模型就是公平的了。具体定义如下：

Definition 1 (Fairness of performance distribution): For trained models $w$ and $w^{'}$ , we say that model $w$ provides a more fair solution to the federated learning objective (1) than model $w^{'}$ if the variance of the performance of model $w$ on the m devices, ${a_1, ..., a_m}$ , is smaller than the variance of the performance of model $w^{'}$ on the m devices, i.e., $Var(a_1, ... , a_m) ≤ Var(a'_1, ... , a'_m)$

最低0.47元/天解锁文章