本文是LLM系列文章,针对《InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning
Large Language Models with Instructions》的翻译。
摘要
指令调优有效地优化了用于下游任务的大型语言模型(LLM)。由于现实应用程序中不断变化的环境,LLM需要在不发生灾难性遗忘的情况下持续进行特定任务的适应。考虑到高昂的计算成本,基于重放的连续学习(CL)方法是LLM解决遗忘问题最简单、最广泛使用的方法。然而,传统的基于重放的方法没有完全利用指令来定制重放策略。在这项工作中,我们提出了一种新的范式,称为基于指令的持续学习(InsCL)。InsCL根据Wasserstein Distance与指令计算的任务相似性,动态回放先前的数据。此外,我们进一步引入了指令信息度量(InsInfo)来量化指令的复杂性和多样性。InsInfo表示,InsCL引导回放过程更倾向于高质量的数据。我们在16个不同训练顺序的任务上进行了广泛的实验,观察到InsCL的性能不断提高。当所有任务都经过训练后,与随机回放相比,InsCL实现了3.0的相对增益,与无回放相比,实现了27.96的相对增益。