大语言模型预训练篇-----数据准备篇（一）

 对于大语言模型来说，预训练阶段为最重要的一个阶段，通过在大规模的语料上进行训练，大语言模型获得通用语言理解能力与生成能力，掌握较为广泛的世界知识，且具有许多解决下游任务的关键能力。本节将介绍是如何准备预训练语料，包括数据收集、预处理、词元化，以及预训练过程中的数据调度方法。

一、数据来源

（一）通用文本数据

为了构建功能强大的大语言模型，需要从多元化的数据源中收集海量数据来进行训练。现有的大语言模型主要将各种公开的文本数据进行混合，作为预训练语料。下图展示了部分具有代表性的大语言模型的预训练数据来源。从图中可以看到，目前网页仍然是建立语言模型最广泛使用的预训练数据，其他常用的数据还包括书籍、代码、对话语料等

从图 中我们可以看到，绝大多数的大语言模型都选用了网页、书籍和对话文本等通用语料作为预训练数据。这些通用语料涵盖了多个主题类别的文本内容。

（二）专用文本数据

专用文本数据有助于提升大语言模型解决下游特定任务的能力，大致分为三类：多语文本、科学文本以及代码。