Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning

本文是LLM系列文章，针对《Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion》的翻译。

摘要

任务增量连续学习是指在克服灾难性遗忘（CF）问题的同时，在一系列任务中不断训练模型。这个问题的出现是因为学习新任务时忘记了学习到的表示，并且破坏了决策边界。以往的研究大多考虑如何恢复学习任务的表征。很少考虑将决策边界调整为新的表示，在本文中，我们提出了一种具有自适应分类标准的监督对比学习框架，用于连续学习（SCCL）。在我们的方法中，使用对比损失来直接学习不同任务的表示，并保存有限数量的数据样本作为分类标准。在推理过程中，将保存的数据样本馈送到当前模型中以获得更新的表示，并使用k个最近邻居模块进行分类。通过这种方式，可扩展模型可以用保存样本的自适应准则来解决学习任务。为了减轻CF，我们进一步使用实例关系提取正则化项和内存回放模块来维护先前任务的信息。实验表明，与分类基线相比，SCCL实现了最先进的性能，并具有更强的克服CF的能力。

1 引言

2 相关工作

3 方法