Federated Learning with Classifier Shift for Class Imbalance

已于 2023-05-12 16:36:56 修改
阅读量174 收藏
点赞数
文章标签： 机器学习
于 2023-05-11 11:09:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43845774/article/details/130615603
版权
FedShift是一种针对联邦学习（FL）中类不平衡问题的解决方案，它通过在本地训练阶段调整分类器输出来减轻负面影响。理论证明，这种方法可以使局部最优解与全局最优解一致，确保算法的收敛性。传统的重采样或重加权方法可能在某些类别稀少或缺失的情况下导致性能下降。
摘要由CSDN通过智能技术生成

Abstract:

        This paper proposes a simple and effective approach named FedShift which adds the shift on the classifier output during the local training phase to alleviate the negative impact of class imbalance. We theoretically prove that the classifier shift in FedShift can make the local optimum consistent with the global optimum and ensure the convergence of the algorithm. 

文章提到，为了解决FL中的class imbalance问题，直觉的想法对客户训练数据进行resampling 或者 reweighting是有问题的，因为有些类别很少甚至压根没有。这么做甚至会带来严重的性能下降。

Method:

        

 证明：

        

正常实验的话p(y=k)就应该是 1/k 

跟着推了一遍，确实是这样，6啊，这么简单的事情怎么才被人发现呢！惊讶！

不对！！！！！

我又推了一遍，感觉有问题！

发邮件问作者作者没有回复我，难道是我的错误太低级入不了大佬的法眼？

家人们谁也帮着看一看我错哪了。。 

江水之南
关注
Federated-Learning:联邦学习
05-17
Federated Learning 人工智能（Artificial Intelligence, AI）进入以深度学习为主导的大数据时代，基于大数据的机器学习既推动了AI的蓬勃发展，也带来了一系列安全隐患。这些隐患来源于深度学习本身的学习机制，无论是在它的模型建造（训练）阶段，还是在模型推理和使用阶段。这些安全隐患如果被有意或无意地滥用，后果将十分严重。 联邦学习是一种 隐私保护、数据本地存储与计算 的机器学习算法。 文献参考 Part 1: Introduction Part 2: Survey Federated Machine Learning: Concept and Applications Threats to Federated Learning: A Survey Survey of Personalization Techniques for Federated Lear
联邦学习（Federated Learning）
热门推荐
草棚
04-27 22万+
联邦学习简介 联邦学习（Federated Learning）是一种新兴的人工智能基础技术，在 2016 年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等...
Federated Learning (FL)
guojunwu1977的博客
03-15 429
Federated Learning：一种分布式机器学习技术，允许模型在保持数据隐私的前提下进行协同训练。这对于跨多个网络节点共享网络安全防御经验特别重要。Federated Learning (FL) 是一种创新的分布式机器学习方法，允许多个参与者协作训练一个共享模型，同时无需将自己的数据集中到一个中央服务器上，从而保护了数据的隐私和安全。这种技术特别适用于那些对数据隐私有严格要求的场景，比如网络安全、医疗健康、金融服务等领域。
联邦学习（（Federated Learning，FL）
weixin_51306020的博客
07-14 9285
联邦学习相关概念、领域热点、挑战与前景。 联邦学习的定义、特点、框架、迭代流程、分类；领域亟待解决的问题；主要研究方向、热点和前景展望。
AAAI‘21 Addressing Class Imbalance in Federated Learning
sinat_22510827的博客
12-24 1870
background •联邦学习中，本地客户端训练数据的分布会显著影响global model 和 local model 。本地数据在真实世界的分布可能是class imbalance或非独立同分布的。在此，针对class imbalance 提出了一种 monitor机制，可以推断每轮训练数据的组成，并基于此设计了一个新的损失函数Ratio Loss来消除class imbalance的影响。 • •问题1：local device 持有的本地隐私数据可能来源于多个域导致local model产生
Tackling Data Heterogeneity in Federated Learning with Class Prototypes, AAAI 2023
qq_43845774的博客
02-14 388
Tackling Data Heterogeneity in Federated Learning with Class Prototypes
Client Selection for Federated Learning with.pdf
05-02
针对这一问题，论文《Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge》提出了一个新联邦学习协议FedCS（Federated Learning with Client Selection），其旨在高效地执行联邦...
【论文笔记】Personalized Federated Learning with Theoretical Guarantees: A MAML Approach
lasetd的博客
06-24 1239
论文笔记
Rethinking Federated Learning with Domain Shift: A Prototype View
最新发布
qq_33619359的博客
07-04 1131
SkS^kSk表示用类别为kkk的样本集，cmkc^k_mcmk​表示第mmm个参与者kkk类样本的原型。原型是各自语义信息的典型，携带特定领域的风格信息，因为原型在不同的领域并不一致（直接理解成高维映射就行）。因此，它激励我们利用来自不同领域的原型来学习可泛化的模型，而不会泄露隐私信息。
federated-learning-master.zip
07-03
python+pytorch实现的联邦学习代码。 联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。
6.TOWARDS FEDERATED LEARNING AT SCALE----SYSTEM DESIGN(Google)(2019.3.22)(1).pdf
07-27
2019/02发布的关于联邦学习的论文 联邦学习是一种分布式机器学习方法，它支持对大量分散数据进行模型训练。基于TensorFlow，我们构建了一个可伸缩的面向移动设备领域的联邦学习生产系统。在本文中，我们描述了最终的高层设计，概述了一些挑战及其解决方案，并触及了开放的问题和未来的方向。
Federated Learning: 相关
u011279649的专栏
06-20 1004
Federated Learning: The Future of Distributed MachineLearning https://medium.com/syncedreview/federated-learning-the-future-of-distributed-machine-learning-eec95242d897 这篇文章把Federated Learning是什...
AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史)、系统及其架构、场景应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-27 1万+
​ AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史/系统及其架构)、系统及其架构、场景应用之详细攻略 目录 联邦学习的简介 联邦学习系统及其架构 联邦学习的场景应用 联邦学习的简介 1、联邦学习诞生的背景 背景 随着公众对保护隐私数据诉求的日趋强烈，以及政策制定者也越来越意识到隐私的重要性。同时，在数据实践中，对保护隐私的机器学习的需求也正在上升，对于数据的访问受到越来越多的审查，对联邦
详解联邦学习Federated Learning
hellozhxy的博客
04-22 6188
今天我们来讲下最近比较博眼球的联邦学习。应该很多人听过但是始终都没懂啥是联邦学习？百度一下发现大篇文章都说可以用来解决数据孤岛，那它又是如何来解决数据孤岛问题的？对于联邦学习，大部分文章还都处于其学术分享会的报道阶段，并未详细介绍联邦学习的实现方法，难以理解其真容，本篇文章将从技术角度介绍联邦学习。 1、联邦学习的背景介绍 近年来人工智能可谓风风火火，掀起一波又一波浪潮，从人脸识别、活体检验发现刑事案件报警到阿尔法狗大战人类围棋手李世石、再到无人驾驶、以及已被普遍应用的精准营销，AI逐步进入人们生活的方
联邦学习(联合学习) Federated Learning(FL) (数据孤岛)(隐私计算)
hxxjxw的博客
08-24 1万+
联邦学习，是联邦机器学习的简称, 也叫联合学习，联盟学习 谷歌公司和微众银行分别提出了不同的“联邦学习”(Federated Learning)算法框架 联邦学习是一种机器学习设定，其中许多客户端在中央服务器的协调下共同训练模型，同时保持训练数据的去中心化及分散性。 联邦学习的长期目标：在不暴露数据的情况下分析和学习多个数据拥有者的数据。（目的：解决数据孤岛） 联邦学习通过联合多方在不泄露或汇聚各方原始数据的前提下进行联合建模 一般来说联邦学习中进行交换的数据是进行加密的模型或梯...
联邦学习（Federated Learning）介绍
土豆洋芋山药蛋的博客
04-21 5782
参考资料： Tensorflow官网教程：https://www.tensorflow.org/federated/ 联邦学(federated learning)习生态：https://cn.fedai.org federated learning/联邦学习：https://daiwk.github.io/posts/dl-federated-learning.html Federated ...
federated learning for credit scoring with multi-party computation
09-18
联邦学习是一种通过多方计算（MPC）进行信用评分的方法。信用评分是评估个人信用风险的重要工具，但在传统模型中，所有的个人数据都必须集中在一起进行建模和分析，这会引发隐私和数据安全的担忧。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值