Qwen2-Math开源！初步探索数学合成数据生成！

Qwen2-Math开源！初步探索数学合成数据生成！

原创 魔搭开发者 魔搭ModelScope社区 2024年08月09日 16:04 浙江

阿里通义团队开源新一代数学模型Qwen2-Math，包含1.5B、7B、72B三个参数的基础模型和指令微调模型。Qwen2-Math基于开源模型Qwen2研发， Qwen2-Math-72B-Instruct在权威测评集MATH上的得分超越目前主流的闭源和开源模型，如GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro、Llama-3.1-405B等，以84%的准确率处理了代数、几何、计数与概率、数论等多种数学问题，成为最先进的数学专项模型。

注：在MATH基准测评中，通义千问数学模型的旗舰款Qwen2-Math-72B-Instruct取得了84%的准确率，超过GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 和 Llama-3.1-405B等开闭源模型。

Qwen2-Math 基础模型使用 Qwen2大语言模型进行初始化，并在精心设计的数学专用语料库上进行预训练，训练数据包含大规模高质量的数学网络文本、书籍、代码、考试题目，以及由 Qwen2 模型合成的数学预训练数据。所有预训练和微调数据集都进行了去污染处理。

随后，研发团队训练了指令微调版本模型：首先，基于Qwen2-Math-72B 训练一个数学专用的奖励模型；接着，将密集的奖励信号与指示模型是否正确回答问题的二元信号结合，用作学习标签，再通过拒绝采样构建监督微调（SFT