Fair Resource Allocation In Federated Learning

最新推荐文章于 2024-05-28 21:16:05 发布
置顶 最新推荐文章于 2024-05-28 21:16:05 发布
阅读量2.1k 收藏 11
点赞数 2
分类专栏： 论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43978453/article/details/105144106
版权
本文探讨了联邦学习中的公平性问题，提出了q-FFL（q-Fair Federated Learning）框架，旨在减少设备间的性能差异。通过优化目标q-FedAvG，在保持整体性能的同时，显著降低了设备精度的方差，实现更公平的资源分配。论文还研究了调整参数q以适应不同公平水平，并讨论了与经典联邦学习目标的关系以及如何通过Lipschitz常数进行优化。
摘要由CSDN通过智能技术生成
background

单纯的最小化网络中的总损失可能会不成比例地对某些设备有利或不利(例如，平均精度可能很高，但是某些单个设备的精度很低的情况)
q-Fair 联邦学习(q-FFL)：新的优化目标(实现更公平的精度分配，更系统的分配模型的性能)
最小化了由q参数化的总加权损耗，使具有更高损耗的设备有更高的相对权重(推测设备的性能)
该论文q-FFL最终实现了：

  • 在公平性方面，保持相同的总体平均性能的同时，将设备的精度差异平均减少45%(即：解决了我付出了这么多，你也付出了这么多，最后为什么我跟你的工资差异那么大的问题)
  • 在效率方面：更快

q-FedAvG： 方法

motivation：权衡网络的总性能和公平性
即：你是要更精确呢，还是更公平呢，怎么权衡？—在设备间实现更均匀的精度分布，显著减少方差，同时保证平均精度

在无线通信等领域，资源公平分配被定义为在许多用户之间分配稀缺的共享资源(例如通信时间或功率等)，那我作为一个服务提供商，希望保证总体吞吐量的同时保证所有用户的服务质量

机器学习的公平性

定义为：某些特定属性的保护

联邦学习的公平性

论文中定义为：联邦学习中跨设备的准确性分布的一致性
并且，论文中的方法可以实现根据期望的公共度来调整
论文中还考虑了联邦优化的问题(减少通讯和容忍异构性等)

联邦学习中的公平性标准

如果一个模型 w w w比 w ∗ w^* w∗在m个设备上的性能分配{ a 1 a_1 a1​… a m a_m am​}更加均匀，那么 w w w就比

最低0.47元/天 解锁文章
Julia_luofang
关注
专栏目录
联邦学习论文阅读：Fair Resource Allocation in Federated Learning
thormas1996的博客
06-04 4049
arXiv上刚刚挂的一篇文章Fair Resource Allocation in Federated Learning，作者是CMU的AP Virginia Smith组的，搜了一下主页，居然是一个超级年轻的小姐姐~ Motivation 之前横向联邦学习一般都是follow google的FedAvg算法，将所有用户（或者随机一部分）更新的梯度取个平均作为中心模型的更新参数。显然，这种做法虽然...
论文笔记——Fair Resource Allocation in Federated Learning
GJ_007的博客
05-14 1828
论文笔记——Fair Resource Allocation in Federated Learning 原文论文链接——http://www.360doc.com/content/20/0501/14/10240337_909607047.shtml 联邦学习领域一些新出论文，参考www.360doc.com/content/20/0501/14/10240337_909607047.shtml 介绍了几篇论文，可以参考学习 联邦学习的一大发展是FedAVG算法提出后，该算法提出后，相当于是一个比
「联邦学习论文笔记05」Fair Resource Allocation in Federated Learning，这篇论文绝了，千万别错过！
wuxusanren的博客
01-27 836
个人觉得联邦学习公平性很重要，这关乎客户端是否愿意参与、联邦学习能否可持续发展壮大，每个客户端都是自利的，“蛋糕“分不好，就算其他步骤优化的再牛逼，人家不愿意参加，你没辙啊
「联邦学习论文05」Profit Allocation for Federated Learning
wuxusanren的博客
01-23 428
毕竟写论文，就是讲科研故事呗，不光自己写的爽，还得让别人读的爽。
【论文阅读——Profit Allocation for Federated Learning】
qq_45467608的博客
04-08 1240
根据上述实验，可以总结如下：时间。Extended-TMC-Shapley 和 Extended-GTB 是耗时最长的。这两个基准算法在效率上相似。OR 和 MR 的耗时对不同设置具有鲁棒性，它们是最高效的。OR 要优于 MR。性能。MR 的性能在所有设置中都是稳定且令人满意的。在大多数设置中，OR 在逼近精确 CI 方面表现最佳。然而，它对标签噪声敏感。Extended-TMC-Shapley 和 Extended-GTB 的性能最差。
fair resource allocation in federated learning
04-12
公平分配资源在联邦学习中的应用是指在联邦学习过程中，要合理分配参与方的计算、通信和存储资源，使每个参与方都能享有相同的资源待遇和机会，从而实现公平。这需要通过一系列策略和算法来实现，如动态资源管理、...
联邦元学习
wohoo~
07-14 5447
联邦元学习
顶会速递 | ICLR 2020录用论文全集
热门推荐
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
「联邦学习论文07」联邦学习两种公平性综述
wuxusanren的博客
02-02 1886
由于参与的客户端是自利的，彼此之间存在计算通信资源、数据等差异，如何最大程度激励客户端，合理分配奖励，促进联邦参与者的积极性，对联邦学习可持续发展非常重要。
基于WEKA的聚类分析算法
03-24
基于WEKA软件实现金融领域数据挖掘分析案例，分别使用随机森林，支持向量机等算法对大数据进行聚类分析，得出结论
Federated_learning_with_differential_privacy：使用PyTorch通过各种神经网络和svm的基于差异优先级的联合学习框架
02-10
差异化隐私的联合学习 引文 如果您发现“ DP联合学习”在您的研究中很有用，请考虑引用： @ARTICLE{Wei2020Fed, author={Kang Wei and Jun Li and Ming Ding and Chuan Ma and Howard H. Yang and Farhad Farokhi and Shi Jin and Tony Q. S. Quek and H. Vincent Poor}, journal={{IEEE} Transactions on Information Forensics and Security}, title={Federated Learning with Differential Privacy: {Algorithms} and Performance Analysis}, year={2020}, vo
联邦学习到底是什么
GJ_007的博客
06-19 3365
联邦学习 看了很多联邦学习相关的论文，今天从头到尾顺一遍。先把之前看过的大致的总结一下，方便写论文的时候参考，后面再补充。 联邦学习的思想 在各个客户端保留本地数据的前提下共同训练一个模型。 分类：横向联邦、纵向联邦、迁移学习 横向联邦：适用于数据特征重合度大的客户端。例如不同地区的银行，他们所拥有的共同客户数量较少，但是客户的属性大部分一致。 纵向联邦：适用于用户重叠部分较多的客户端。例如同一地区的银行和超市，他们所拥有的客户大多都为本地的用户，重合度较大。 迁移学习：以上两种都不满足。用户和用户属性重合
联邦学习算法初探——q-FFL
qq_45478482的博客
10-19 1252
基本简介 Fair Resource Allocation in Federated Learning一文中针对普通的FedAvg算法对于单纯最小化聚合损失函数可能会对某些设备带来优势或者劣势。q-FFL它能使联邦网络中的设备分布更加公平（均匀）、准确。目标是确保培训过程不会过拟合模型任何一个设备。目标过于严格，只优化性能最差的设备，并且只在两三个设备网络中测试。 核心思想 由目标函数可知，为了更加公平需要调整表现贡献差的设备的权重，来减小准确度分布的方差。这个调整权重需要是动态的，因为设备的表现取决于被训
什么是利普希茨条件 | 博客摘录「 联邦学习论文阅读：Fair Resource Allocation in Federated Learning」2023年11月13日
qq_51315770的博客
11-13 218
利普希茨条件 读这篇blog👇时看到的联邦学习论文阅读：Fair Resource Allocation in Federated Learning_virginia smith cmu-CSDN博客 Google一下基本解释： wiki:​​​​​​​ 在數學中，特別是實分析，利普希茨連續（Lipschitz continuity）以德國數學家魯道夫·利普希茨命名，是一個比一致連續更強的光滑性條件。直覺上，利普希茨連續函數限制了函數改變的速度，符合利普希茨條件的函數的斜率，必小於一個稱為利普希
联邦学习 + 脏数据+Approaches to address the data skew problem in federated learning
柯同学要谦虚
10-24 1962
Menu联邦学习脏数据脏数据的种类及处理方法数据缺失数据重复数据错误数据不可用 联邦学习 脏数据 脏数据的种类及处理方法 数据缺失 缺一些记录，或者一条记录里缺一些值（空值），或者两者都缺。原因可能有很多种，系统导致的或人为导致的可能性都存在。如果有空值，为了不影响分析的准确性，要么不将空值纳入分析范围，要么进行补值。前者会减少分析的样本量，后者需要根据分析的计算逻辑，选择用平均数、零、或者等比...
[联邦学习]Q-FedAvg算法&&工作原理&&步骤
最新发布
m0_51955470的博客
05-28 779
Q-FedAvg（Quantile Federated Averaging）是一个在联邦学习场景中应用的算法，用于改善在数据分布不均匀的情况下模型的学习效果。在传统的联邦学习方法如FedAvg中，尽管多个客户端共同参与模型的训练，但由于各个客户端持有的数据量和质量可能差异很大，仅仅采用简单的平均策略可能导致模型偏向于数据丰富的客户端，忽略了数据稀少或多样性的客户端。Q-FedAvg试图通过更精细的权重调整来解决这一问题，以达到更加公平和高效的学习结果。
FedAvg代码详解
sca1p31的博客
03-11 1435
论文Communication-Efficient Learning of Deep Networks from Decentralized Data是联邦学习的经典文章，提出了联邦学习经典聚合算法FedAvg，本文基于开源代码进行复现以及对代码的详细解释，适合没有相关基础的同学进行代码理解和复现
Federated Learning: 相关
u011279649的专栏
06-20 1006
Federated Learning: The Future of Distributed MachineLearning https://medium.com/syncedreview/federated-learning-the-future-of-distributed-machine-learning-eec95242d897 这篇文章把Federated Learning是什...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值