NeurIPS 2023 | FedFed：特征蒸馏应对联邦学习中的数据异构

在本文中，我们提出了一种新的即插即用的联邦学习模块，FedFed，其能够以特征蒸馏的方式来解决联邦场景下的数据异构问题。FedFed首次探索了对数据中部分特征的提取与分享，大量的实验显示，FedFed能够显著地提升联邦学习在异构数据场景下的性能和收敛速度。

论文名称：

FedFed: Feature Distillation against Data Heterogeneity in Federated Learning

论文链接：

https://arxiv.org/abs/2310.05077

代码链接：

https://github.com/visitworld123/FedFed

一、 引言

联邦学习（Federated Learning, FL）近年来引起学术界和工业界越来越多的关注，它旨在保护用户数据隐私的同时完成模型的训练。

然而，在联邦学习的场景中，由于各个联邦参与方（客户端）本身的差异（如地理位置，气候条件等客观因素的不同），导致不同客户端之间的训练数据分布可能存在较大差异，这会造成在不同客户端下训练的模型有一定的差异。进而，聚合这些有差异的模型会严重影响模型的性能。因此，如何在异构的数据分布下（也被称作non-IID）提升模型性能成为了联邦学习领域的研究重点内容。

性能-隐私困境: 为了解决异构给联邦学习带来的挑战，一项开创性工作FedAvg[1]提出在客户端本地训练模型，将本地模型传输至中心服务器，并且在中心服务器以加权聚合的方式得到全局模型。这种方法虽然解决了联邦学习中计算和通信上的多样性问题，但仍面临着由数据异构性带来的模型性能较差的问题。

现有一系列研究致力于缓解数据异构在联邦学习中带来的挑战。一些研究尝试在客户端之间共享数据信息来解决数据异构性问题，这种方法在提升联邦学习系统性能方面展现出了巨大潜力。虽然信息共享策略能够带来性能提升，但是也引入了一些隐私泄漏的风险，造成了联邦学习中的性能-隐私困境。

<