论文翻译：arxiv-2024.Datasets for Large Language Models: A Comprehensive Survey

https://arxiv.org/pdf/2402.18041v1

大型语言模型数据集：一项全面调查

摘要

本文着手探索大型语言模型（LLM）数据集，这些数据集在LLM的显著进步中扮演着至关重要的角色。数据集作为基础架构，类似于根系，支撑并滋养着LLM的发展。因此，对这些数据集的检查成为了研究中的关键话题。为了解决目前缺乏对LLM数据集全面概述和深入分析的问题，并洞察它们的现状和未来趋势，本调查从五个角度整合并分类了LLM数据集的基本方面：（1）预训练语料库；（2）指令微调数据集；（3）偏好数据集；（4）评估数据集；（5）传统自然语言处理（NLP）数据集。本调查揭示了当前的挑战，并指出了未来研究的潜在途径。此外，还提供了现有可用数据集资源的全面回顾，包括来自444个数据集的统计数据，涵盖8种语言类别，跨越32个领域。数据集统计中融入了20个维度的信息。预训练语料库的总数据量超过了774.5TB，其他数据集的实例数量达到了7亿。我们的目标是呈现LLM文本数据集的全貌，为该领域