CReFF缓解长尾数据联邦学习（IJCAI 2022）

关注公众号，发现CV技术之美

本篇分享 IJCAI 2022 论文『Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features』，通过联合特征的分类器再训练在异质和长尾数据上的联合学习。

• 论文链接：https://arxiv.org/abs/2204.13399

• 项目链接：https://github.com/shangxinyi/CReFF-FL

      01      

背景与概述

作者首先提出挑战性问题：同时出现数据异质性和长尾分布问题，将会严重损害FL模型性能。作者进一步发现，实际上，不同Clients上的分类器间的差异是导致全局模型性能不佳的主要因素。基于此，作者提出：通过使用联邦特征对不同Clients上的分类器进行重训练，从而处理数据异构和长尾分布问题，同时在联邦特征上重新训练的分类器可以产生与在真实数据上重新训练的分类器相当的性能，不存在隐私或类分布泄露问题。

联邦学习使多个客户机能够协作地学习一个强大的全局模型，而无需将本地私有数据传输给服务器，这是一种高效通信和隐私保护的学习框架。但是，在FL模型训练过程中，一个主要挑战是数据的异质性问题，由于数据来源不同从而导致客户端之间的分布差异；同时真实世界的数据往往显示出长尾分布与严重的类不平衡，样本数量在某些类(head classes)的数量严重超过了其他一些类(tail classes)。因此，如果跨客户端的训练数据同时是长尾和异构的，那么将变得复杂和具有挑战性，因为每个客户端可能持有不同的尾类以及不同的数据分布。

作者受到长尾学习解耦方法启发：即在固定已经训练后的特征提取器的情况下，使用一组平衡的数据对一个有偏的分类器进行再训练，进行两阶段学习。因此提出，通过聚合模型的特征提取器(聚合客户端模型)+重训练模型分类器层，对全局模型进行改善以缓解异构数据+长尾分布问题。

由于隐私问题，在服务器上使用共享平衡数据集的这个先决条件对于大多数FL实际场景是不可行的。因此，基于两阶段学习的思想和FL对隐私的关注，作者提出了一种新的、保护隐私的FL方法，称为联邦特征分类器再训练(CReFF)。在服务器上学习了一组被称为联邦特征的平衡特征用于重训练分类器层，基于一个直观的思想：即在联邦特征上重新训练的分类器应该与在真实数据上重新训练的分类器的性能相当，这可以通过使两个分类器相似来实现。具体来说，我们优化联邦特征，使得其在分类器上的梯度接近于真实数据的梯度。

如下图1所示，作者首先在CIFAR-10-LT(CIFAR-10的长尾版本)实验，以表明两阶段学习(长尾学习解耦方法)在FL的异质性和长尾数据上可以表现良好。作者分别使用不平衡因子(IF)和狄利克雷分布系数α来控制长尾分布和异质性的程度(IF程度越高，不平衡程度越高，α程度越低，异质性程度越高)，给定一个在异构和长尾数据上预先训练的全局模型，然后固定其特征提取器，再使用从客户端收集的小平衡数据集(每个类100个)在服务器上重新训练其分类