Continual Pre-Training of Large Language Models: How to (re)warm your model?

本文是LLM系列文章，针对《Continual Pre-Training of Large Language Models: How to (re)warm your model?》的翻译。

摘要

大型语言模型（LLM）通常在数十亿个token上进行预训练，但一旦新数据可用，就会重新启动过程。一个更便宜、更有效的解决方案是能够对这些模型进行持续的预训练，即用新数据更新预训练的模型，而不是从头开始重新训练。然而，由新数据引起的分布偏移通常会导致过去数据的性能下降。在这项工作中，我们研究了不同热身策略的效果。我们的假设是，在新的数据集上进行训练时，必须重新提高学习率以提高计算效率。我们研究了在Pile上预训练的模型（上游数据，300Btoken）的热身阶段，同时我们继续在SlimPapajama上预训练（下游数据，297Btoken），遵循线性热身和余弦衰减时间表。我们在Pythia410M语言模型架构上进行了所有实验，并通过验证困惑来评估性能。我们试验了不同的训练前检查点、不同的最大学习率和不同的热身时间。我们的研究结果表明，虽然重新武装模型首先增加了上游和下游数据的损失，但从长远来看，它提高了下游性能，优于从头开始训练的模型——即使是大型下游数据集。

1 引言