009 PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization（联邦个性化 自适应）

方法：提出PFA（实现隐私保护的联邦自适应框架）：利用 神经网络的稀疏性 来生成隐私保护的表示，并使用它们来有效地识别具有相似数据分布的客户端。基于分组结果，PFA对联邦模型 进行分组的联邦学习过程 ，以实现自适应。

目的： 试图 在单个客户端之外实现个性化 。

结论： 在这些数据集和流行的模型体系结构上的大量实验证明了PFA的有效性，在确保用户隐私的同时，它大大超过了其他最先进的方法 。

---

联邦学习之后，得出的联邦模型应该针对每个不同的客户进一步个性化。虽然已经提出了几种方法实现个性化，但它们通常局限于 单个本地设备 ，由于单个设备中的数据极其有限，这可能会导致偏差或过拟合。

——>

本文中，试图 在单个客户端之外实现个性化 。

这样做的动机是，在联邦学习过程中，可能会存在很多数据分布相似的客户，如果这些相似的客户能够相互合作，可以显著提高个性化性能。

——>

引入联邦自适应的新概念：通过联邦方式对训练后的模型进行自适应，以获得更好的个性化效果。

——>

挑战是：处于隐私考虑，不能在适应过程中从客户端外包任何原始数据。

——>

提出PFA（实现隐私保护的联邦自适应框架）：利用 神经网络的稀疏性 来生成隐私保护的表示，并使用它们来有效地识别具有相似数据分布的客户端。基于分组结果，PFA对联邦模型 进行分组的联邦学习过程 ，以实现自适应。

——>

为了评估，我们在公共数据集的基础上手工构建了几个实际的联邦学习数据集，以模拟类不平衡和背景差异的条件。 在这些数据集和流行的模型体系结构上的大量实验证明了PFA的有效性，在确保用户隐私的同时，它大大超过了其他最先进的方法 。

对于客户机来说，联邦学习不是最优的解决方案，因为客户机的数据分布本质上是非独立同分布的。

这里我们认为不仅指之前工作模拟的统计分布异构性（例如，某个客户端中图像类别数量）

还包括对象相同而背景不同的情况（例如，一个用户可能主要在室内拍照，而另一个用户可能主要在室外拍照）。在这种情况下，每个客户端都应该拥有一个个性化的模型，而不是一个全局共享模型，以便更好地适应其独特的数据数据分布。

研究界已经注意到了数据异构问题，并且提出了一些方法来解决这个问题。

Wang et al. [ 59 ] 通过使用每个客户端的本地数据进一步微调联邦模型来实现个性化

Yu et al. [ 62 ] 扩展了上述工作，通过微调、多任务学习和知识蒸馏三种方案可以对联邦模型进行个性化

虽然这些方法可以在一定程度上促进个性化，但它们有一个显著的缺点：个性化过程被限制在单个设备上，由于设备中的数据极其有限，可能会引入一些偏倚或过拟合问题。

我们的直觉是，在联邦学习过程中，可能存在许多其他客户机，它们拥有与某个客户机 相似的数据分布 。如果 这些客户端能够被聚合并相互受益，性能肯定会优于局部自适应方案 ，因为更多有价值的数据被用来个性化联邦模型，减轻偏倚或过拟合问题，并扩展有用的知识。

提出 联邦适应 的新概念，定义为以联邦的方式调整联邦模型，以实现更好的个性化结果。

如图1所示，联邦适应尝试使用具有类似分布的客户机来协作地适应联邦模型，而不是仅仅使用单个设备中的数据来适应联邦模型。与传统的联邦学习相比，联邦适应有以下几点不同：

①适应目标为联邦训练模型，即 适应开始前应先进行联邦学习过程 ；

②在联邦自适应中， 联邦客户端必须是有选择性的 ，以保证分布匹配，而不是像传统的联邦学习那样使用整个客户端或随机抽样。

PFA： 利用神经网络的稀疏性来生成一个隐私保护的表示，然后可以在适应过程中用于替换原始数据的客户端分组。具体来说，给定一个联邦模型， PFA首先提取与客户相关的稀疏向量作为一个隐私保护表示 ，并将它们 上传到服务器来区分不同的客户端分布 （章节4.1）。PFA 利用欧几里德距离来度量这些稀疏向量之间的相似度 ，可以 生成一个描述客户之间分布相似度的矩阵 （章节4.2）。基于这个矩阵，PFA能够 对数据分布相似的客户进行精确分组 ，并进 行分组的联邦学习过程来完成适应 （章节4.3）。注意，现有的基准测试数据集的非独立同分布设置用于类不平衡的场景 [ 40 ] ，这对于演示真实世界的应用程序来说是不完整的。因此，我们在一些公共数据集的基础上构建了几个数据集来模拟类失衡和背景差异的条件，以便更好地代表实际联邦学习环境的特征（章节5.1）。

在构建的数据集上评估PFA，并将其与FL基线和三种最先进的个性化局部适应方案进行比较。结果表明，PFA在保证用户隐私的同时，比其他方法的性能提高了8.34%。此外，我们还进行了一些详细的分析（如收敛分析、隐私分析），进一步论证了PFA的必要性和有效性。

贡献：

①在联邦学习中实现更好的个性化新想法。我们引入联邦适应，它以联邦的方式进行个性化，而不是专注于本地客户。

②一种表示数据的新方法。我们利用神经网络的稀疏性来表示客户端原始数据。这种表示方式提供了一种保护隐私的方式，可以准确地描述与客户端相关的数据分布。

③一个全面的联邦适应框架。提出了一个PFA框架，通过保护隐私的联邦自适应来个性化联邦模型。据我们所知，这是文献中首次尝试探索和研究联邦适应的概念。

④详细的实验来评估所提出的框架。我们基于构建的数据集和最先进的模型体系结构进行了广泛的实验。实验结果证明了PFA的有效性。