Investigating Continual Pretraining in Large Language Models: Insights and Implications

本文是LLM系列文章，针对《Investigating Continual Pretraining in Large Language Models: Insights and Implications》的翻译。

摘要

本文研究了大型语言模型（LLM）中持续学习（CL）的发展领域，重点是制定高效和可持续的训练策略。我们的主要重点是持续的领域自适应预训练，这一过程旨在使LLM能够集成来自各个领域的新信息，同时保留先前学习的知识，并在不依赖特定领域识别的情况下增强跨领域知识转移。与以前的研究不同，以前的研究大多集中在有限的任务或领域选择上，主要旨在解决遗忘问题，我们的研究评估了LLM在实际场景中对不断变化的数据景观的适应性和能力。为此，我们引入了一个新的基准，旨在衡量LLM对这些不断发展的数据环境的适应性，为评估提供了一个全面的框架。我们研究了模型大小对学习效率和遗忘的影响，以及新兴领域的进展和相似性如何影响这些模型中的知识转移。我们的研究结果揭示了几个关键的见解：（i）当领域序列显示出语义相似性时，与独立的微调相比，连续预训练使LLM能够更好地专注于当前领域，（ii）跨不同领域的训练增强了向后和向前的知识转移，以及（iii）较小的模型对连续预训练特别敏感，显示出最显著的遗忘率和学习率。我们认为，我们的研究标志着向建立更现实的LLM CL研究基准的转变，并有可能在指导该领域未来研究方向方面发挥关键作用。

1 引言

2 方法

3 实验设置

4