数据对大模型预训练效果的影响

    在训练大语言模型的过程中，预训练数据的质量对模型能力的影响至关重要。已有的研究表明，基于含有噪音、有毒和重复数据的低质量语料库进行预训练，会严重损害模型性能。

数据数量的影响

    整体上，语言模型的性能会随着训练数据数量的增加而提升，符合扩展法则。然而，早期的研究工作（如 KM 扩展法则）认为增加模型参数更为重要，实际上 175B 参数的 GPT-3 模型只用了 500B 的词元进行了训练。随后，Chinchilla 扩展法则提出参数规模和数据规模应该同步增长，并且使用了1.4T 词元训练了具有 70B 参数的 Chinchilla 模型，数据量与参数量的比例大概为 20:1。相较于在 300B 词元上训练的 280B 参数的 Gopher 模型，Chinchilla模型展现出了更好的性能表现，这说明扩展训练数据数量对于提升大语言模型的性能非常关键。

    在近期发布的大语言模型中，训练数据数量得到了高度关注，已经显著超越了 Chinchilla 扩展法则中给出的比例。例如，LLaMA-2 7B 参数的模型就在 2T 的词元数据上进行了预训练。一些更小尺寸的语言模型也使用了高达 1T 级别的数据进行了训练，发现其仍然没有达到语言模型能够学习的数据量上限。数据量的扩展性本质上来源于 Transformer 模型的可扩展性，这也是大语言模型能够取得成功最为关键的基础要素。

数据质量的影响

    在获取充足数量的预训练数据后，数据质量直接决定了模型的实际性能。通过显著提升数据质量，使得语言模型在参数、数据、算力更加节约的情况下就能展现出与更大规模模型相匹敌甚至更为优异的性能。

    为了探索高数据质量带来的收益，Phi-1 不仅精心筛选了