基于知识蒸馏的的FL --＞ FedGen:Data-Free Knowledge Distillation for Heterogeneous Federated Learning

FedGen:Data-Free Knowledge Distillation for Heterogeneous Federated Learning 异构联邦学习的无数据知识蒸馏

面临的问题

用户的异质性—>导致全局模型漂移且收敛缓慢

摘要

传统的知识蒸馏解决用户异质的问题：通过使用异构用户的聚合知识来改进服务器模型，这种方法依赖于代理数据集（不符合实际）。并且聚合的知识没有被充分利用来指导局部模型学习，这可能反过来影响聚合模型的质量。
本文采用的方法：

• 提出了一种无数据的知识蒸馏方法来解决异构 FL。
• 服务器学习一个轻量级生成器以无数据的方式集成用户信息；
• 然后将其广播给用户，用学到的知识调节本地训练作为归纳偏置。

Introduction

俩个解决用户异质性的角度：

1. 通过调节局部模型与全局模型在参数空间上的偏差来稳定局部训练。（这种方法可能无法充分利用用户模型的基础知识，其多样性表明其本地数据的信息结构差异）
2. 提高模型聚合的效率。（以未标记的数据集作为代理，知识蒸馏通过使用局部模型的集成知识丰富全局模型，减轻了异质性引起的模型漂移问题，这比简单的参数平均更有效。— 但是数据集可能并不总是在服务器上可用）

本文的方法：FL 的无数据知识蒸馏方法（FedGen）
具体来说，FEDGEN 学习一个 仅从用户模型的预测规则里派生出的生成模型，在给定目标标签的情况下，该生成模型可以产生与用户预测集合一致的特征表示。将该生成器广播给用户，在潜在空间中使用增强样本来帮助他们的模型训练，这体现了从其他同行用户那里提取的知识。给定一个维度远小于输入空间的潜在空间，FEDGEN 学习的生成器可以是轻量级的，从而给当前 FL 框架带来最小的开销。
优点：

• 它从用户中提取知识，而这些知识在模型平均后会被减轻，而不依赖于任何外部数据。
• 与仅细化全局模型的某些先前工作相反，我们的方法使用提取的知识直接调节局部模型更新。我们表明，此类知识对局部模型施加了归纳偏差，从而在非独立同分布数据分布下获得更好的泛化性能。
• 此外，所提出的方法已准备好解决更具挑战性的 FL 场景，在这些场景中，由于隐私或通信限制，共享整个模型参数是不切实际的，因为所提出的方法只需要本地模型的预测层来进行知识提取。

Notations and Preliminaries

联邦学习旨在学习一个由$\theta$ 参数化的全局模型，以最大限度地降低其对每个用户任务$T_k$ 的风险