CCVR基于分类器校准缓解异构联邦学习

关注公众号，发现CV技术之美

本篇分享 NeurIPS 2021 论文『No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data』，用非IID数据进行联合学习的分类器校准。

论文链接：https://arxiv.org/abs/2106.05001

      01      

背景与概述

作者提出问题：为了解决Non-IID问题，因为Non-IID数据分布会给全局模型性能带来大幅度损害；现有方案主要涉及在局部优化中执行正则化或改进服务器上的模型聚合方案，虽然有效，但是它们缺乏对数据异质性如何影响深度分类模型的每一层的深刻理解。作者首先通过对不同层学习到的表示进行实验分析，发现：1. 模型的分类器层往往存在更大的偏差，2. 在联合训练后通过校准分类器可以显著提高分类性能。

基于上述发现，作者提出CCVR方法，通过从近似高斯混合模型中采样的虚拟表示来调整分类器（再训练分类器）从而大幅度提高全局模型性能。

联邦学习中通常使用Non-IID数据进行训练，由于不同的用户行为，在不同客户端的本地数据中可能存在较大的异构性，这将导致模型训练不稳定且收敛缓慢；

现有方法大致分为4类：

1. 客户端漂移缓解：修改客户端的局部目标，使局部模型与全局模型在一定程度上一致(大部分方法通过添加正则化项)；

2. 聚合方案：改进服务器上的模型融合机制；

3. 数据共享：引入公共数据集或合成数据，帮助在客户端或服务器上构建更平衡的数据分布；

4. 个性化联邦学习：旨在为个人客户训练个性化的模型，而不是一个共享的全局模型。

但是现有算法仍然无法取得良好的性能，为了确定原因，作者对深度神经网络的每一层都进行了彻底的实验研究：具体来说，作者测量了来自不同客户机本地模型的同一层表示之间的中心核心对齐(CKA)相似性；观察结果发现：比较不同客户端模型的不同层，发现分类器在不同局部模型之间的特征相似性最低。

基于上述发现，作者进一步研究了分类器权重的变化，证实了分类器倾向于偏向特定的类，这是分类问题中性能下降的主要原因。接着作者通过实验验证发现，训练后对分类器进行重训练/校准策略特别有用（通过一小部分的IID数据，分类精度显著提高），但是该方法涉及隐私，因此不能在实践中直接部署。

因此，作者提出了一种新的隐私保护方法，即虚拟表示分类器校准(CCVR)，该方法在联邦训练后修正了深度网络的决策边界（分类器）；CCVR基于特征空间中的近似高斯混合模型(GMM)和学习到的特征提取器生成虚拟表示，进而重校准分类器。

总得来说，本文贡献如下：

1. 首次系统地研究了使用FedAvg对非IID数据训练的不同层神经网络(NN)的隐藏特征表示的研究；

2. 揭露出在非IID数据上训练的神经网络性能下降的主要原因是分类器；

3. 提出了CCVR，一种简单而通用的用于联合学习的分类器校准算法，