【LLM大模型论文日更】| LLMs在预训练和微调阶段的性能变化和它们之间的相互关系

• 论文：https://arxiv.org/pdf/2408.06663
• 代码：未开源
• 机构：约翰霍普金斯大学
• 领域：预训练与微调的关系
• 发表：arXiv

这篇论文详细地分析了大型语言模型（LLMs）在预训练（pre-training）和微调（fine-tuning）阶段的性能变化和它们之间的相互关系。

Abstract

• 研究目的：探索预训练与微调之间的关系，特别是它们是如何共同影响模型最终性能的。
• 研究方法：通过在18个数据集上微调多个预训练模型的中间检查点来进行实验分析。
• 主要发现：
  • 持续的预训练能够在微调后以一种不明显的方式提升模型性能。

这句话的意思是，在大型语言模型（LLMs）的预训练阶段，即使模型在预训练过程中对某些任务的性能提升不明显，持续进行预训练仍然可以在后续的微调阶段带来潜在的性能提升。换句话说，预训练阶段的持续训练可能在当下看起来效果不大，但这些训练所获得的知识或能力会在模型针对特定任务进行微调时显现出来，从而提高模型在这些任务上的表现。

具体来说，这种提升可能表现在以下几个方面：

1. 知识深度：预训练阶段让模型接触到更多的语言数据和模式，这可能加深了模型对语言知识的理解，即使这种理解在预训练阶段并未直接转化为性能提升。

2. 潜在能力：模型可能在预