异构联邦持续学习的精确遗忘--ACCURATE FORGETTING FOR HETEROGENEOUS FEDERATED CONTINUAL LEARNING

主要贡献

• 针对的问题
  • 不同客户端之间的数据/任务可能不相关甚至对立
  • 客户端之间的统计异质性和数据噪声可能表现出虚假相关性，从而导致有偏见的特征学习
• 选择忘记有偏见的知识
  • 精确遗忘，选择性的利用联邦学习网络中先前的知识
  • 采用基于规范化流模型的框架来量化先前知识的可信度

Introduction

FCL可能遇到的问题

• 本地客户端之间的非 IID 数据导致的统计异质性。这种异质性可能会严重降低与客户端协作学习时的性能
• 灾难性遗忘，源于由于存储限制、隐私问题等现实因素而限制对先前任务的数据访问。这可能导致模型在吸收新任务后失去熟练执行先前任务的能力。
• 联邦场景导致的特征偏差的潜在引入有关，这反过来可能会影响 CL 模型中的记忆。研究表明，记忆嘈杂的标签会严重损害模型的性能

NF模型

• 通过一系列双射变换将任意复杂的数据分布映射到预定义的分布。
• 虽然NF模型中的信息可能包含有偏差的特征或由于异构数据而产生的虚假相关性，但我们认为，相对于当前任务的异常特征是可疑的，可能构成威胁学习的过程。更准确地说，一个特定特征的可信度可以用它在当前任务中的概率密度来量化。

定义

无限任务池： 客户端的任务从任务存储库中随机选择，导致俩个客户端可能不共享任何公共任务
特征偏差：实验设置时，放大不同客户端的偏差

NF

归一化流–> 一种生成模型

AF-FCL

• 特征重放
  • 为了防止完全遗忘，我们在分类器的特征空间中训练了一个全局NF模型用于生成重播。
• 知识提炼
  • 此外，我们在特征空间中使用知识蒸馏来减轻显著漂移，从而增强了NF模型训练过程的稳定性。
• 相关估计
  • 与当前任务相关的异常特征可能会潜在地破坏学习过程。因此，我们通过生成的特征在当前任务中的概率密度来评估其可靠性。