AN AGNOSTIC APPROACH TO FEDERATED LEARNING WITH CLASS IMBALANCE

该论文关注于联邦学习(FederatedLearning,FL)中的类不平衡问题,提出了一种不受本地分布信息影响的Agnostic学习策略。通过引入约束以防止客户端的损失过度超过平均损失,强制分类器平等地处理所有类别,从而缓解不平衡的影响。论文使用拉格朗日乘子进行优化,实验设置独特,定义了自己的不平衡比例。尽管理论性强,但可能在某些设置下效果有限,仍能被顶级会议接受。
摘要由CSDN通过智能技术生成

         本地分布和全局分布有可能是不一致的——本地的少数类有可能是全局的多数类。出于隐私考虑,又不能暴露本地分布。

        To overcome the aforementioned challenges, we propose a constrained learning formulation to handle the class imbalance issue in FL while accounting for both heterogeneity and privacy. In brief, we impose constraints on the standard FL formulation so that the empirical loss on every client should not overly exceed the average empirical loss. Such constraints are shown to force the classifier to account for all classes equally and hence mitigate the detrimental effect of class imbalance, under a type of heterogeneous data configuration that captures the mismatch between the local and global imbalance.

        这篇论文的核心就是他不管分布信息,以一种Agnostic的方式来面对Class Imbalance in FL。

论文提出: 

(是不是有点像Fedprox?)

接下来通过拉格朗日乘子来求解,数学看不懂。

论文的实验设置有些新奇:

 他的 Imbalance Ratio是自己定义的,而不是像大家约定的那样

 

 论文的理论性比较强,但我感觉效果上应该不太行的。换个设置估计就不行了。但是并不妨碍中了顶会。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值