超级会员免费看
本文调查了大型语言模型（LLM）的预训练和监督微调阶段的数据管理，探讨了数据量、质量、领域组成的影响，指出数据管理在提升模型性能和训练效率中的关键作用，并展望了未来挑战和方向。
本文是LLM系列文章，针对《Data Management For Large Language Models: A Survey》的翻译。
摘要
数据在大型语言模型（LLM）的训练中起着至关重要的作用。有效的数据管理，特别是在制定一个非常适合的训练数据集方面，对于增强模型性能和提高预训练和监督微调阶段的训练效率具有重要意义。尽管数据管理具有相当重要的意义，但当前的研究界仍未能对管理策略选择背后的原理、其后果、评估策划数据集的方法以及对改进策略的持续追求进行系统分析。因此，数据管理的探索越来越受到研究界的关注。本调查全面概述了LLM预训练和监督微调阶段的数据管理研究现状，涵盖了数据管理策略设计的各个值得注意的方面：数据量、数据质量、领域/任务组成等。展望未来，我们推断了现有的挑战，并概述了该领域有希望的发展方向。因此，这项调查为那些希望通过有效的数据管理实践构建强大LLM的从业者提供了指导资源。最新论文集可在https://github.com/ZigeW/data_management_LLM上找到。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
