Federated Learning with Label Distribution Skew via Logits Calibration, ICML 2022

摘要

  如之前提到到过的一样, Softmax交叉熵会导致本地模型严重过拟合少数类和缺失类。本文将Logits进行重校准,来缓解Softmax带来的问题。

Introduction

  本文讨论的场景是Label distribution skew。举个栗子,大熊猫只能在中国和动物园里看到。基本上论文的实验设置都是Label skew。在此场景下,局部模型是有偏的,聚合时会偏离全局最优点。本文旨在减少本地模型的偏移。
在这里插入图片描述
在这里插入图片描述

提出的方法

在这里插入图片描述
  作者说这个思想是受到另一篇论文启发。按作者的说法,这个LOSS可以更好的关注少数边缘类。

杂谈

  Margin Loss思想是借鉴另一篇论文。没有公布源码。超参数没说设成多少(估计是各种试选了个最好的)。与FedRS是互补的。FedRS关注样本中没有出现过的类别,这篇论文关注的是样本中的边缘少数类。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值