AI 大佬 Andrej Karpathy 推荐：LLM 性能提升的秘密 —— FineWeb 数据集

最近，AI 大牛 Andrej Karpathy 推荐了一项名为 FineWeb-Edu 的工作。

对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。

为此，FineWeb 团队就深入探讨了如何创建一个用于 LLM 预训练的大型高质量网络规模数据集，并讨论了大规模数据质量的处理和评估、FineWeb 配方（列出并解释了所有的设计选择）以及创建 FineWeb-Edu 子集的过程。

1. FineWeb 是什么？

FineWeb 是一个庞大的预训练数据集，包含 15 万亿token，占据 44TB 的磁盘空间，源自 96 个 CommonCrawl 快照。FineWeb 比其他开放式数据集带来了更出色的 LLM 性能。为了确保高质量，团队详细记录了 FineWeb 的设计选择，并深入研究了去重和筛选策略。

数据集获取地址：https://huggingface.co/datasets/HuggingFaceFW/fineweb

在上述数据集的基础上，团队推出了 FineWeb-Edu，这是 FineWeb 的一个子集，专注于教育内容，表现优于所有公开可访问的网络数据集。FineWeb-Edu 提供两种大小/过滤级别：1.3 万亿和 5.4 万亿 token，均使用 GPT2 分词器进行测量。

数据集获取地址：https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu

这两个数据集均根据许可的 ODC-By 1.0 协议发布。

2. 如何创建高质量网络数据集？

2.1 如何获得用于训练 LLM 的网络数据？

为了构建 FineWeb，团队沿用了一些 LLM 训练团队过去的做法，比如将 CommonCrawl（CC）作为起点。Common Crawl 非营利组织自 2007 年以来一直在抓取网页，通常每 1 到 2 个月发布一次新的抓取，包含 200 到 400 TiB 通过自动网络抓取获得的文本内容。

2.2 如何评估数据集的质量？

常用的方法是在数据集的代表性子集上训练小型模型，并在一组评估任务上对其进行评估。在这个方法中，重要的是要选择一组多样化且具有代表性的数据集 - 评估任务，尽量不要过度拟合任何一个单独的基准，因为这有可能损害预训练后获得的 LLM 的通用性。

在这项工作中，团队采用了训练小模型并在一组「early-signal」基准任务上对其进行评估的方法。考虑到上述关于评估基准过度拟合的注意事项，这可以合理地代表用于训练这些模型的数据的质量。

最终，团队选择了以下几个基准：CommonSense QA、HellaSwag、OpenBook QA、PIQA、SIQA、WinoGrande、ARC、MMLU。

2.3 如何进行 FineWeb 的数据处理？

FineWeb 数据集主要按顺序经历如下步骤：

1. 基础过滤
2. 每个转储独立的 MinHash 重复数据删除
3. 精选 C4 过滤器
4. 自定义过滤器

FineWeb-Edu 子集基于最近出现的一种过滤 LLM 训练数据集的新方法：使用合成数据来开发识别教育内容的分类器。这项技术在 Llama 3 和 Phi3 的训练中得到了显著应用，但它对网络数据过滤的大规模影响迄今为止尚未得到充分的公开发掘。

团队为了进一步提高 FineWeb 的质量，利用 Llama-3-70B-Instruct 生成的注释开发了一个教育质量分类器，创建了 FineWeb-Edu。

最后实验证明，FineWeb-Edu 超越了 FineWeb 和所有其他开放网络数据集，在教育基准（如 MMLU、ARC 和 OpenBookQA）方面取得了显著改进。与 C4 和 Dolma 相比，FineWeb-Edu 需要的 token 数量减少了 10 倍，才能与 MMLU 的结果相媲美。

欢迎各位关注我的个人微信公众号：HsuDan，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。