论文解读 | EMNLP2024 一种用于大语言模型版本更新的学习率路径切换训练范式

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

点击 阅读原文 观看作者讲解回放！

作者简介

王志豪，厦门大学博士生

刘诗雨，厦门大学硕士生

内容简介

新数据的不断涌现使版本更新成为大型语言模型（LLMs）不可或缺的需求。LLMs的版本更新训练范式包括从头预训练（PTFS）和继续预训练（CPT）。初步实验表明，PTFS在预训练性能上表现更好，而CPT的训练成本较低。此外，随着版本更新的进行，两种范式的性能和训练成本差距逐渐扩大。为探究这一现象的根本原因，作者分析了学习率对CPT的两个阶段的影响：准备初始化参数（checkpoint）和基于该checkpoint的继续预训练。研究表明，在第一阶段中使用较大学习率以及在第二阶段中使用具有完整率衰减过程的学习率对于LLMs的版本更新至关重要。因此，作者提出了一种基于学习率路径切换的训练范式。该范式包括一条主路径和多条分支路径。LLMs在主路径上以最大学习率进行预训练，而分支路径则基于LLMs在主路径上的checkpoints使用新增数据进行版本更新。广泛的实验表明该范式的有效性和泛化性。特别是在训练4个版本的LLMs时，该范式在保持与PTFS相当的预训练性能同时，将总训练成本减至58%。

论文地址：https://arxiv.org/abs/2410.04103

研究动机