[论文笔记] 大模型预训练数据获取、数据清洗

参考：ChatGPT是如何构造和清洗数据的？ - 知乎 

一、数据获取

        数据通常分开源、自建、爬取三种。在开源中常见的有wikipedia，书籍，CommonCrawl，代码，对话等类型。下图列举了LLama使用的数据分布。

        其中wikipedia由于质量较高基本上会被每个LLM使用。书籍则是为较长的上下文学习提供语料，现在分学科的书籍电子化和抽取是各家重点搞的数据。代码数据则能加强模型的逻辑推理能力，因为其实现通常是分步骤有逻辑的。尽可能整理自有数据和爬取外部数据是LLM项目讨论中最常见的话题。在中文领域中，常见的数据可分为几个档次，A档：知乎，小红书，头部GZH/头条文章，百科，经验，专业新闻网站，政务网站，行业垂类网站，比如起点，晋江，传统图书电子化；B档: 英文数据集翻译成中文，主要得益于原始的英文质量高，实践中会有一些较严重的翻译问题（语句不通顺，专业实体，不需要翻译的英文等）；C档：知道，头条，抖音快手，自媒体新闻，