英伟达：LLM预训练自动数据混合

📖标题：CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training
🌐来源：arXiv, 2504.13161

🌟摘要

🔸预训练数据集通常从网络内容中收集，缺乏固有的领域划分。例如，像Common Crawl这样广泛使用的数据集不包括显式的域标签，而手动整理像The Pile这样的标记数据集是劳动密集型的。因此，确定最佳的预训练数据混合仍然是一个具有挑战性的问题，尽管它对预训练性能有显著的好处。
🔸为了应对这些挑战，我们提出了基于聚类的迭代数据混合自举（CLIMB），这是一种在预训练设置中发现、评估和改进数据混合的自动化框架。具体来说，CLIMB在语义空间中嵌入和聚类大规模数据集，然后使用较小的代理模型和预测器迭代搜索最佳混合。当使用这种混合物对400B代币进行连续训练时，我们的1B模型比最先进的Llama-3.2-1B高出2.0%。此外，我们观察到，对特定领域（如社会科学）进行优化比随机抽样提高了5%。
🔸最后，我们介绍ClimbLab和ClimbMix。ClimbLab是一个经过过滤的1.2万亿代币语料库，包含20个集群，作为研究平台。ClimbMix是一个紧凑而强大的4000亿代币数据集，旨在实现高效的预训练，在同等的代币预算下提供卓越的性能。我们分析最终的数据混合，阐明最佳数据混合的特征。项目在https://research.nvidia.com/labs/lpr/climb/

🛎️文章简介

🔸研究问题：如何在大规模预训练语言模型中优化数据混合，以有效平衡通用知识和领域专长？
🔸主要贡献：论文提出了一种名为CLIMB的框架，通过迭代的数据混合优化，自动发现和优化数据混合，显著提高语言模型的性能。

📝重点思路

🔸使用无监督集群方法将数据源中的文档聚类，以便在特征空间中区分不同领域的数据。
🔸通过引入轻量级代理模型进行混合权重的优化，并使用预测器在每次迭代中逐步改进数据混合的质量。
🔸将数据混合权重的搜索建模为双层优化问题，通过迭代自举策略来探索和评估数据组合。
🔸在每次迭代中，通过对候选混合物进行提议、修剪和精炼来优化多样性和领域相关性。

🔎分析总结

🔸实验结果表明，CLIMB在多个推理基准测试中表现优于所有基线数据混合方法，尤其是在350M和1B参数的模型中，准确率显著提高。
🔸通过优化有限的训练预算，CLIMB能够在特定任务的验证集上实现出色的性能，表明其具有良好的泛化能力。
🔸迭代的数据混合搜索能够动态调整数据组合，使得模型在领域特定任务上表现更佳，同时保留通用能力。

💡个人观点

论文的核心在于自动化数据混合优化方法，克服了传统静态混合策略的局限性，使得模型能够在没有预定义领域标签的情况下，通过自我迭代和学习不断提升性能。

🧩附录