📖标题:Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models — The Story Goes On
🌐来源:arXiv, 2407.08348
🛎️文章简介
🔸研究问题:如何通过数据规模扩展来提升大语言模型(LLM)在数学推理任务中的性能。
🔸主要贡献:论文分享了天工大模型如何构建高质量SFT数据集,并通过实验验证了数据规模对数学推理性能的影响。
📝重点思路
🔺相关工作
🔸LLM对齐:是指确保模型的输出符合用户偏好的过程,包括监督微调(SFT)、人类反馈强化学习(RLHF)和直接策略优化(DPO)等。
🔸SFT数据数量:LLM微调满足缩放定律,数据量会严重影响LLM表现,数据大小依赖任务数量。
🔸SFT数据质量:大量的知识获取发生在预训练阶段,最大限度地减少了对大量微调数据的需求,实验发现高质量的小规模数据比低质量的大规模数据更有效。
🔸LLM数学推理:简单的数学问题如GSM8K已经能被LLM很好解决,CoT等推理框架和工具调用有助于提高数学推理表现。
🔺论文方案
🔸概述:围绕天工-7B模型的训练方案,介绍两阶段的SFT数据构建,以及如何增强模型对齐过程中的数学推理能力。
🔸阶段1:通过最大化多样性来采样MATH作为种子集,通过MetaMathQA、Evol-Instruct和自我修正三种方法进行数据增强。
🔸阶段2:随着数据量的增加,观察到性能和数据量之间的关系开始趋于稳定,进一步通过课程学习的思路,为模型针对性的设计更具挑战性的问题。
🔎分析总结
🔸在数量较小的情况下已经可以获得不错的结果,而数量增多可以进一步提升性能。
🔸生成的数据包含更具挑战性的问题,可以进一步提高LLM的数学推理极限。
🔸种子多样性和质量会提高数据多样性,可以大幅提高LLM的数学推理能力。
🔸中英双语表现有较大差距,凸显出模型推理能力和语言相关。
💡个人观点
论文详细介绍了两阶段微调的数据构建,并做了详细的数据分布探索。
附录