本文是LLM系列文章,针对《Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal》的翻译。
摘要
大型语言模型(LLM)在持续学习过程中会遭受灾难性的遗忘。传统的基于复述的方法依赖于先前的训练数据来保留模型的能力,这在现实世界的应用中可能不可行。当基于公开发布的LLM检查点进行持续学习时,原始训练数据的可用性可能不存在。为了应对这一挑战,我们提出了一个称为自合成复述(SSR)的框架,该框架使用LLM生成用于复述的合成实例。具体来说,我们首先使用用于上下文学习的基本LLM来生成合成实例。随后,我们利用最新的LLM基于合成输入来细化实例输出,保留其获得的能力。最后,我们选择各种高质量的合成实例,以便在未来阶段进行排练。实验结果表明,与传统的基于复述的方法相比,SSR实现了优越或可比的性能,同时数据效率更高。此外,SSR有效地保留了LLM在一般领域的泛化能力。
1 引言
2 相关工作
3 基于复述的持续学习
4 我们的框架
5 实验
6 结论
在这项工作中,我们提出了自综合复述(SSR),这是一种用于缓解LLM中灾难性遗忘的持续学习框架,以在排复述过程中有效地保存知识,而不依赖于真实数据。通过广泛的实验,SSR证明了其数据效率和优于传统的基于复述的方法的性