“MathCoder”LLM：数学人工智能革命（比 WizardMath LLM 更好！） 通过无缝代码集成和高级推理增强人工智能的数学技能

介绍

右GPT-3 和 GPT-4 等大型语言模型 (LLM) 的最新进展在与思维链提示和程序执行等方法配合使用时，在数学推理方面表现出了令人印象深刻的能力。然而，开源法学硕士在数学任务上仍然落后于专有法学硕士。这一差距促使中大的研究人员开发了 MathCoder，这是一个有效的框架，可以提高开源法学硕士解决数学问题的能力。

关键词：MathCoder、大型语言模型、法学硕士、GPT-3、GPT-4、思路提示、程序执行、开源法学硕士、数学推理、GPT-4 代码解释器、LLaMA、卡拉狄加、GSM8K、MATH、 MathCodeInstruct、Python 代码块、问题插值、监督微调、CodeLlama、MathCoder-L-7B、MathCoder-L-70B、定理证明、多模态推理、

当前开源LLM在数学推理方面的局限性

涉及数学推理的任务（例如解决文字问题）需要结合自然语言理解、逻辑思维和计算技能。像 GPT-4 Code Interpreter 这样的大型专有模型在数学数据集上取得了显着的成果，这主要归功于它们能够无缝生成和执行代码以及自然语言解释。

相比之下，当前的开源法学硕士仍然难以应对数学问题所需的复杂推理和计算。例如，与闭源模型相比，LLaMA 和 Galoida 等模型在 GSM8K 和 MATH 等标准基准测试中的得分相当低。需要能够提高开源法学硕士数学成绩的方法。

Math