The Fine Line: Navigating Large Language Model Pretraining with Downstreaming Capability Analysis

本文是LLM系列文章，针对《The Fine Line: Navigating Large Language Model Pretraining with Downstreaming Capability Analysis》的翻译。

摘要

揭示反映最终模型性能的早期指标是大规模预训练的一个核心原则。现有的标度律证明了预训练损失和训练失败之间的幂律相关性，这是大型语言模型当前训练状态的重要指标。然而，这一原则只关注模型对训练数据的压缩特性，导致与下游任务的能力提升不一致。一些后续工作试图将缩放定律扩展到更复杂的度量（如超参数），但仍然缺乏对预训练期间各种能力之间动态差异的全面分析。为了解决上述局限性，本文对各种预训练中间检查点的模型能力进行了全面比较。通过这一分析，我们证实，特定的下游指标在不同规模的模型中表现出相似的训练动态，多达670亿个参数。除了我们的核心发现外，我们还复制了Amber和OpenLLaMA，发布了它们的中间检查点。该倡议为研究界提供了宝贵的资源，并促进了开源研究人员对LLM预训练的验证和探索。此外，我们还提供了实证总结，包括不同模型和能力的性能比较，以及不同训练阶段关键指标的辅导。基于这些发现，我们提供了一种更用户友好的策略来评估优化状态，为建立稳定的预训练过程提供了指导。

1 引言