本文研究了数据剪枝对大规模语言模型（LLM）预训练的影响，发现通过简单的困惑度量选择数据子集，即使大幅减少训练数据，也能保持甚至提高模型性能。对比复杂度更高的评估方法，困惑度在数据修剪中展现出优越性。研究显示，仅使用原始数据集30%的困惑度选定数据，模型性能可提升1.5%，并随着模型规模扩大，这一趋势保持一致。这为自动管理和优化高质量语料库提供了新思路。
本文是LLM系列的文章，针对《When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale》的翻译。
摘要
近年来，大量的文本数据对大型语言模型（LLM）的发展做出了重大贡献。这些数据通常是通过抓取互联网来获取的，从而产生由嘈杂的网络文本组成的预训练数据集。到目前为止，将这些数据集精简为更高质量的子集的努力依赖于手工制作的启发式算法，这些启发式算法被编码为基于规则的过滤器。在这项工作中，我们从更广泛的角度出发，探索了可扩展的数据质量估计，可用于系统地测量预训练数据的质量。我们在困惑的简单数据质量估计器的规模上进行了严格的比较，以及误差L2范数和记忆的更复杂和计算密集的估计。这些度量用于对预训练语料库进行排序和修剪，然后我们比较在这些修剪后的数据集上训练的LLM。令人惊讶的是，我们发现简单的困惑技术优于我们计算成本更高的评分方法。在对原始训练数据集的30%进行训练的同时，我们在无修剪基线的基础上进行了改进。我们的工作为自动管理高质量语料库的未探索策略奠定了基础，并表明在保持性能的同时，可以删除大多数预训练数据。
已下架不支持订阅
扫一扫
91
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
