【论文阅读】Instruction Pre-Training:Language Models are Supervised Multitask Learners

总体概要

本文提出了一种名为“指令预训练”的新型框架，旨在通过在大量原始语料库中加入指令-响应对来探索监督式多任务学习在预训练语言模型中的应用。该框架通过一个基于开源模型的有效指令合成器生成指令-响应对，实验中合成了涵盖40多个任务类别的2亿对数据，验证了指令预训练的有效性。在从头开始的预训练中，指令预训练不仅持续提升了预训练基础模型的性能，还从进一步的指令调优中获益更多。在持续预训练中，指令预训练使Llama3-8B模型在两个领域（金融和生物医学）的性能与Llama3-70B相媲美甚至超越。文章通过广泛的实验分析，证明了指令预训练在不同预训练场景下的有效性，并开发了一个能够基于各种原始语料库生成多样化指令-响应对的指令合成器。文章的核心思想是，通过引入监督式多任务学习到预训练阶段，可以有效提升语言模型的泛化能力和性能。

核心要点

1. 指令预训练的概念提出：

   • 本文提出了指令预训练（Instruction Pre-Training，简称Instruct PT）作为一种探索监督式多任务学习在预训练阶段的方法。与传统的直接在原始语料库上进行预训练不同，指令预训练通过一个指令合成器为每个原始文本生成一组指令-响应对，然后将这些增强后的语料库用于预训练语言模型。

2. 指令合成器的开发：

   • 为了实现大规模的任务合成，本文开发了一个基于开放源代码模型的指令合成器。该合成器通过多任务微调，能够根据给定的原始文本生成多样化的指令-响应对。与依赖大型或闭源模型生成合成数据的现有工作不同，本文的方法更加经济高效。

3. 实验验证：

   • 本文通过在从头开始的通用预训练和领域适应性持续预训练两种场景下的实验，验证了指令预训练的有效性。在从头开始的预训练中，指令预训练不仅持续增强了预训练的基础模型，而且从进一步的指令调优中获益更多。在持续预训练中，指令预训练使得Llama3-8B在金融和生物医学两个领域的表现可与甚至超越Llama3-70B相媲美。

4. 贡献总结：

   • 本文的主要贡献包括提出了指令预训练方法以探索监督式多任务预训练，并通过广泛实验验证了其有效性；开发了一个能够基于各种原始语料库大规模生成多样化指令-响应对的指令合成器；并对指令合成器及其生成的合成数据进行了全面分析，揭示了该方法成功的关键因素。

5. 未来展望：

   • 本文希望其工作能够启发对监督式多任务预训练这一有前景领域的进一步探索，有效地提升语言模型的通用能力。同时，也指出了合成数据可能引入幻觉的问题，以及未来研究应该探索合成数据规模定律，确定合成样本数量和质量之间的最优平衡。

段落概要

Introduction

文章的Introduction部分强调了监督式多任务学习在语言模型（LMs）预训练中的重要性和潜力。与传统的无监督多任务学习相比，监督式方法在提高模型泛化能力方面显示出显著的前景。文章提出了“指令预训练”（Instruction Pre-Training）框架，通过在大量原始语料库中加入指令-响应对来增强LMs的预训练，这些对由基于开源模型的有效指令合成器生成。实验结果验证了指令预训练的有效性，不仅提升了基础模型的性能，还使得在进一步的指令调优中受益更多。此外，在连续预训练中，指令预训练使Llama3-8B模型能够与甚至超越Llama3-70B模型的性能。文章的主要贡献包括提出了指令预训练方法，开发了能够基于多种原始语料库生成多样化指令-响应对的指令合成器，并通过全面分析揭示了该方法成功的关键因素。

Instruction Pre-Training

文章中的"Instruction Pre-Training"部分介绍了通过在原始语料库中加入由指令合成器生成的指令-响应对来增强语言模型（LM）预训练的方法。这种方法通过指令合成器将原始文本转化为包含任务输入（指令）和任务输出（响应）的指令-响应对，然后在这些增强的语料库上预训练LM。文章通过实验验证了这种方法的有效性，特别是在持续预训练场景下，能够显著提升模型在特定领域（如金融和生物医学）的性能，甚至超越了更大的模型。此外，文章还开发了一个基于开源模型的指令合成器，该合成器能够高效地生成多样化的指令-响应对，为大规模任务合成提供了支持。

Experiment Settings

文章的“实验设置”部分详细介绍了研究中使用的模型、数据集和训练方法。核心要点包括：采用Mistral-7B-v0.1模型作为合成器，通过两轮指令合成将部分原始语料转换为指令增强语料，用于从零开始的通用预训练；对于领域自适应连续预训练，则将所有原始语料转换为指令增强语料，并混合通用指令以提升提示能力。实验中使用了RefinedWeb数据集、PubMed Abstracts和金融新闻作为语料，通过混合不同数据源和调整采样比例来优化训练效果。此外，还采用了Mistral架构和tokenizer，以及lm-evaluation-harness框架进行模型评估。实验结果显示，通过指令增强的预训练方法在多个任务上提升了模型性能。

Results

文章的“Results”部分展示了在不同预训练场景下，通过指令预训练（Instruct PT）方法显著提升了模型的性能。在通用预训练从零开始的情况下，与仅使用原始语料库的Vanilla Pre-Training（Vanilla PT）相比，Instruct PT在多个基准测试中表现更优，显示出在增强模型泛化能力方面的有效性。此外，Instruct PT在数据效率上表现出色，其500M参数模型达到了与Pythia-1B模型（训练了300B tokens）相当的性能，而1.3B参数模型则达到了BLOOM-3B模型（训练了341B tokens）的水平。在指令调优过程中，Instruct PT模型在MMLU基准测试上的零/少样本学习性能迅速超越了Vanilla PT模型，表明指令预训练有助于模型更快地学习下游任务。在领域自适应持续预训练方面，Instruct PT在几乎所有领域特定任务上持续优于Vanilla PT，甚至在某些任务上达到了与Llama3-70B模型相当的性能，显示出在提升模型领域特定性能方面的显著效果。

Analysis

文章的分析部分深入探讨了指令合成器和指令增强语料库对语言模型预训练的影响。通过多任务微调，指令合成器能够为任何原始文本生成指令-响应对，显著提高了在已见和未见数据集上的响应准确性和指令-响应对的质量。实验表明，与基线模型相比，经过微调的合成器在生成多样化和高质量的指令-响应对方面表现更优，有效促进了语言模型对未见任务的泛化能力。此外，指令增强语料库的分析显示，生成的指令-响应对在上下文相关性、响应准确性和任务多样性方面表现出色，覆盖了广泛的通用任务场景，证明了指令合成器在生成高度多样化任务方面的有效性。

Related Work

文章的“Related Work”部分概述了合成指令生成的研究进展，强调了与现有工作的差异，包括专注于预训练阶段而非后训练、从原始语料库学习而非知识蒸馏、任务无关性对比任务特定方法，以及通过增加指令多样性超越基于规则的方法。此外，还提到了数据整理在语言模型预训练中的作用，包括数据收集、清洗和组织，以及本文工作在增强原始语料库监督信号方面的独特性。总体而言，该部分强调了本文方法在合成指令生成和数据整理方面的创新和优势。

Conclusion

文章的结论部分强调了提出的“指令预训练”（Instruction Pre-Training）方法，这是一种探索监督多任务学习在预训练中的应用。与直接在原始语料库上进行预训练不同，该方法通过一个指令合成器生成的指令-响应对来增强语料库，然后在这些增强的语料库上预训练语言模型（LMs）。文章指出，指令合成器能够从多样化的数据集中生成多样化的指令-响应对，证明了其在生成高度多样化任务方面的有效性。在从零开始的一般预训练中，指令预训练不仅在预训练的基础模型上优于传统的“香草预训练”（Vanilla Pre-Training），而且在进一步的指令调整中获益更多。在持续预训练中，指令预训练显著提升了Llama3-8B模型在两个不同领域的性能。文章展望未来，希望这项工作能够激发对监督多任务预训练领域的进一步探索，有效提升语言模型的通用能力。