Continual Learning of Large Language Models: A Comprehensive Survey

本文是LLM系列文章，针对《Continual Learning of Large Language Models: A Comprehensive Survey》的翻译。

摘要

有效和高效地将静态预训练的大型语言模型（LLM）适应不断发展的数据分布的挑战仍然是主要的。当为特定需求量身定制时，经过预训练的LLM在先前的知识领域中经常会出现明显的性能下降，这种现象被称为“灾难性遗忘”。尽管在持续学习（CL）领域进行了广泛的研究，但这个问题在LLMs领域呈现出新的表现形式。在本次调查中，我们全面概述并详细讨论了CL背景下LLMs的当前研究进展。除了介绍初步知识外，本次调查还分为四个主要部分：我们首先描述了持续学习LLMs的概述，包括两个方向的连续性：垂直连续性（或垂直持续学习），即从一般能力到特定能力的持续适应，以及水平连续性（或称水平持续学习）（即跨时间和领域的持续适应）（第3节）。遵循垂直连续性，我们总结了现代CL背景下学习LLM的三个阶段：连续预训练（CPT）、领域自适应预训练（DAP）和连续微调（CFT）（第4节）。然后，我们概述了LLM持续学习的评估协议，以及当前可用的数据源（第5节）。最后，我们讨论了与LLM持续学习有关的有趣问题（第6节）。这项调查揭示了持续预训练、适应和微调大型语言模型这一研究相对不足的领域，表明社区有必要给予更多关注。需要立即关注的关键领域包括制定实用和可访问的评估基准，以及专门设计的方法，以对抗遗忘，并在不断发展的LLM学习