Federated Learning with Label Distribution Skew via Logits Calibration, ICML 2022

摘要

  如之前提到到过的一样， Softmax交叉熵会导致本地模型严重过拟合少数类和缺失类。本文将Logits进行重校准，来缓解Softmax带来的问题。

Introduction

  本文讨论的场景是Label distribution skew。举个栗子，大熊猫只能在中国和动物园里看到。基本上论文的实验设置都是Label skew。在此场景下，局部模型是有偏的，聚合时会偏离全局最优点。本文旨在减少本地模型的偏移。

提出的方法

  作者说这个思想是受到另一篇论文启发。按作者的说法，这个LOSS可以更好的关注少数边缘类。

杂谈

  Margin Loss思想是借鉴另一篇论文。没有公布源码。超参数没说设成多少（估计是各种试选了个最好的）。与FedRS是互补的。FedRS关注样本中没有出现过的类别，这篇论文关注的是样本中的边缘少数类。