ECCV 2022 | FedX: 在无监督联邦学习中进行知识蒸馏

©PaperWeekly 原创 · 作者 | 张成蹊

单位 | Freewheel机器学习工程师

研究方向 | 自然语言处理

论文的立意是在联邦学习过程中，结合对比学习，用局部与全局的两种蒸馏方式来无监督地学习样本的向量表示。FedX 不仅是一种创新的无监督学习算法，更是一种可以热插拔用于传统对比学习，使之效果提升的无监督损失函数。

关键词：联邦学习（Federated Learning），对比学习（Contrastive Learning），知识蒸馏（Knowledge Distillation），无监督学习（Unsupervised Learning）。

论文标题：

FedX: Unsupervised Federated Learning with Cross Knowledge Distillation

论文链接：

https://arxiv.org/abs/2207.09158

代码链接：

https://github.com/Sungwon-Han/FEDX

相关背景

联邦学习假设数据分散在不同的客户端中，且不能与中央服务器共享；截止目前，已经有很多有监督联邦学习用在下游任务的相关研究，如目标检测、图像分割、人员重识别等，但对于无监督联邦学习的需求也在逐步增加，以应对一些本地客户端缺失数据的场景。其中比较具有挑战性的研究点为：

1. 数据在不同客户端是离散且异构的，不满足数据独立同分布的条件，所以联邦学习算法必须考虑到独立客户端与全局数据分布不同时的有偏情况；

2. 在数据有偏到一定程度，客户端可能只拥有较少的数据，此时需要引入无监督/半监督的联邦学习方法，使得每一个客户端都从全局模型中获益，达到较好利用本地数据的目的。

联邦学习的整体流程如下图所示：

其中：

1. Local Update：每个client各自学习自己的样本表示，获得各自独立的本地参数模型；

2. Local model update：将本地参数模型