Learn from Others and Be Yourself in Heterogeneous Federated Learning论文阅读

Introduction

联邦学习面临两大核心挑战：一是数据和模型的异构性问题，二是联邦学习过程中的灾难性遗忘问题。

传统方法通常假设本地模型共享参数或梯度，但这不能适用于异构模型。为了解决这个问题，作者受自监督学习的启发，利用未标注的公共数据进行联合交叉相关学习，通过最大化相同类别在不同域的输出相似性和最小化输出冗余性，从而使模型学习到类别不变性并增强不同类别间的区分度。

**对于灾难性遗忘问题，作者提出了一种知识蒸馏方法，通过在本地更新阶段持续学习跨域和域内知识，以避免遗忘其他参与者的信息。**具体来说，作者提出在本地更新阶段，利用之前轮次中学到的跨域知识的内域（本地）模型的知识，以及使用最初预训练的本地模型（未学习其他参与者知识）作为约束，来平衡来自他人和自身的知识。

最后，作者通过在多个图像分类任务上进行实验，证明了FCCL方法在处理异构性和灾难性遗忘问题上的有效性，并通过消融研究进一步验证了其方法的关键部分。总的来说，FCCL通过创新的方法解决了联邦学习中的关键挑战，并在实际应用中取得了优秀的性能。

Related Work

在数据异构性方面，最初的工作主要集中在解决非独立同分布（non-i.i.d）数据问题上，尤其是标签分布偏斜的情况。这些方法往往忽略了跨域性能，即数据可能来自不同领域，特征分布不同，但仍需要良好的模型表现。然而，当从不同数据域采样私有数据时，这些工作不考虑域间性能，而只关注学习内部模型。当前的研究正在探索无监督域适应和域泛化问题，但收集目标域的数据往往不切实际。相比之下，作者在这项工作中更关注如何提高模型在不同领域间的性能。

在模型异构性方面，由于对定制化模型的需求，联邦学习研究也开始考虑模型之间的差异。一些方法通过标注公共数据的知识蒸馏来操作，但这依赖于标注数据的质量，可能并不总是可行。最新的工作表明可以在未标注的公共数据或合成数据上进行蒸馏，但这些方法未能学习到泛化表示，因此在跨域性能上表现不佳。另一些研究提出引入额外的共享模型，但这可能导致计算负担和通信成本增加。本文提出基于未标注公共数据，通过相关和去相关不同维度来学习泛化表示。

自监督学习部分介绍了这种方法如何在无需标签的情况下学习有用的表示，极大地减少了与监督模型在各种下游视觉任务上的性能差距。自监督学习的一些相关方法包括对比学习和特征去相关的方法。在联邦学习环境中，也有一些工作将自监督学习方法应用到模型同质性和标签分布偏斜的问题上。

灾难性遗忘问题，这是连续学习中的一个核心问题，指的是模型在连续从数据流中学习时倾向于忘记旧知识的问题。现有的连续学习方法主要包括重放方法、基于正则化的方法和参数隔离方法。作者指出，尽管联邦学习与连续学习在数据分布上有所不同，但两者都面临着如何平衡不同数据分布知识的共同挑战。与连续学习方法不同，作者关注的是如何在分布式数据中缓解灾难性遗忘，特别是期望平衡和提升跨域和域内性能。

Method

自监督学习和信息瓶颈理论的应用：

• 自监督学习的成功启发了作者采用信息瓶颈理论，这种理论强调在学习过程中提取尽可能多的信息，同时保持对样本特定领域扭曲的不变性。
• 这意味着模型应该能够捕获和表示尽可能多的关于图像的信息，同时对那些由于领域变化（如不同拍摄条件或环境）而引起的图像特征扭曲保持不变。

领域偏移问题：

• 不同域中的logits输出（模型在最后一层的输出）在批次维度上的分布不会相同。

维度级操作的目的：

• 为了应对这种异构性，需要鼓励模型在相同维度（对应同一类别）上保持不变性，同时在不同维度（对应不同类别）上保持多样性。
• 这样做的目的是使得模型在不同领域数据上都能学习到具有泛化能力的表示。

利用未标记的公共数据：

• 由于私有数据包含特定领域信息并且受到隐私保护，不适合直接用于自监督学习。
• 因此，作者选择使用易于获取且通常来自多个领域的未标记公共数据。
• 在这些公共数据上，作者通过要求logits输出对领域扭曲保持不变，并在不同维度上进行去相关操作，来优化私有模型。

动机：

这样做的动机是创造一个能够在不同数据域中都有效工作的模型，同时解决领域偏移问题和保护数据隐私。通过在未标记的公共数据上进行操作，FCCL方法能够训练出能够识别和区分不同类别的模型，即使这些类别来自不同的领域，而且这种方法不会暴露或依赖于敏感的私有数据。这种方法能够在保持模型对不同领域变化的不变性的同时，提高其对新领域的适应性和泛化能力。

Construction of Cross-Correlation Matrix

Federated Continual Learning

实验

1. 实验概述：
   • 研究人员在两个图像分类任务上广泛评估了FCCL方法：Digits和Office-Home。
   • 任务涉及来自不同领域的数据，体现了数据异构性。
2. 任务和数据集：
   • Digits任务：包括MNIST、USPS、SVHN、SYN四个域，每个域有10个分类。
   • Office-Home任务：包括Art、Clipart、Product、Real World四个域，展现了显著的领域偏移。
3. 模型异构性：
   • 参与者根据不同的域自定义模型，使用了如ResNet、EfficientNet、MobileNet和GoogLeNet等不同的模型架构。
4. 比较方法：
   • FCCL与当今最先进的方法进行比较，包括FedDF、FML、FedMD、RCFL和FedMatch。
   • SOLO方法是作为非联邦学习的基准进行训练的。
5. 评价指标：
   • 使用标准的准确率度量方法性能，定义为正确匹配的样本数量除以样本总数。
   • 分别定义了域内准确率$A^i_{Intra}$和域间准确率$A^i_{Inter}$

6.实施细节：

• 所有参与者在联邦学习过程中采用相同的超参数设置。
• 使用Adam优化器进行模型训练，批量大小设为512，学习率为0.001。
• 为Digits和Office-Home任务分配了不同规模的私有数据，并设置了5000个未标记的公共数据。
• 所有输入图像被预处理为32×32大小，以三通道形式进行兼容性处理。
• 通信进行了40轮，所有方法在更多通信轮后几乎没有准确率提升。

Comparison with State-of-the-Art Methods

• 论文中的实验针对两个图像分类任务——Digits和Office-Home。
• 使用了Cifar-100、ImageNet和Fashion-MNIST三个公共数据集。
• FCCL与当前最先进的方法进行了比较。

1. 域间性能分析：
   • 表1显示了在不同域的数据上，与其他方法相比，独立训练（SOLO）的性能最差，说明了联邦学习的优势。
   • FCCL在减少不同域间logits输出的冗余性方面表现优越，成功地在公共和私有数据上实现了维度的相关性和去相关性。

1. 域内性能分析：
   • 表2展示了FCCL在缓解灾难性遗忘方面的效果，如Digits任务上使用Cifar-100数据集，FCCL较RCFL有2.30%的性能提升。

图6a和图6b表明，FCCL在提高通信轮数和优化目标值方面有更少的性能波动，不易过拟合当前数据分布，说明FCCL能够平衡多重知识。

1. 模型同质性分析：
   • 在模型结构相同（模型同质性）的条件下，将所有模型设为ResNet-18，并在协作更新和本地更新间进行参数平均化操作。
   • 表3显示了使用Cifar-100在Office-Home任务上的域间和域内性能，FCCL的表现与其他方法进行了对比。

Diagnostic Experiments

• FCCL由两部分组成：联邦交叉相关学习和联邦持续学习。
• 进行了一系列消融实验以展示FCCL中每个组件的贡献。

1. 联邦交叉相关学习：

   • 在无标签的不同公共数据集（Cifar-100、ImageNet和Fashion-MNIST）上评估性能，证明了其鲁棒性和稳定性。
   • 结果表明联邦交叉相关学习在每个域上都取得了一致的性能。
   • 使用具有丰富类别（如ImageNet）或简单细节（如Fashion-MNIST）的公共数据更为有效。

2. 联邦持续学习：

   • 调查联邦持续学习在处理灾难性遗忘方面的有效性。
   • 图8展示了考虑双域知识蒸馏与未考虑（只用交叉熵损失优化）相比，显著提高了域间性能（如在Cifar-100的Digits任务上提高了6.38%）。
   • 此外，也提升了域内性能（如在ImageNet上提高了3.88%）。
   • 图4可视化了域内和域间案例的特征。可以看出，提出的联邦持续学习产生了一个区分度很好的特征空间。

3. 结果分析：

   • 每个组件在提高模型性能方面都发挥了作用。
   • 在本地更新中加入额外的限制信号对缓解灾难性遗忘有益。