【开源数学数据集】OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何构建一个大规模的数学教学调整数据集，以提高开源大型语言模型（LLMs）在数学推理任务上的性能。具体来说，论文的目标是：

填补开源LLMs与闭源LLMs（如GPT-4）在数学技能上的差距：通过使用开源的Mixtral模型，论文旨在生成高质量的数学问题-解决方案对，以训练出在数学推理任务上表现出色的LLMs。

创建一个商业许可的大规模数据集：现有的大规模数学教学调整数据集（如MetaMathQA和MAmmoTH）通常基于闭源LLMs生成，这限制了它们的使用。论文提出了OpenMathInstruct-1数据集，它包含了1.8M个问题-解决方案对，并且拥有商业许可，允许未来的研究自由使用。

提高数据生成的效率和质量：通过探索不同的提示策略（如使用遮蔽文本解决方案）和数据选择策略（如公平下采样和代码优先选择），论文旨在提高生成解决方案的覆盖率和质量，从而提高最终微调模型的性能。

展示开源LLMs在数学推理任务上的潜力：通过在OpenMathInstruct-1数据集上训练的模型（如OpenMath-CodeLlama-70B），论文展示了开源LLMs在数学推理任务上可以达到与GPT-4蒸馏模型相竞争的性能。

总的来说