上海交大：精炼预训练语料库提升LLM性能

📖标题：Programming Every Example: Lifting Pre-training Data Quality like Experts at Scale
🌐来源：arXiv, 2409.17115

摘要

🔸传统上，大型语言模型预训练依赖于人类专家来制定启发式方法来提高语料库质量，从而产生了迄今为止开发的许多规则。然而，这些规则缺乏灵活性，无法有效地解决单个示例的独特特征。同时，对人类专家来说，将量身定制的规则应用于每个例子是不切实际的。
🔸在本文中，我们证明，即使是参数少至0.3B的小型语言模型，也可以表现出与人类专家相当的数据精炼能力。我们介绍了Programming Every Example（PROX），这是一个将数据细化视为编程任务的新框架，使模型能够通过为每个单独的示例生成和执行细粒度操作（如字符串规范化）来细化语料库。
🔸实验结果表明，在PROX策划的数据上预训练的模型在各种下游基准测试中的表现优于原始数据或其他选择方法过滤的数据2%以上。它的有效性涵盖了各种模型大小和预训练语料库，包括C4、RedPajama-V2和FineWeb。此外，PROX在特定领域的持续预训练中表现出巨大的潜力：在没有特定领域设计的情况下，在由PROX改进的OpenWebPath上训练的模型优于人工构建的基于规则的