震惊！GPT-4比GPT-3.5的数学推理能力强了五倍？！

©PaperWeekly 原创 · 作者 | 中森

单位 | 香港中文大学博士生

先上暴论：今天分享的 Paper 在小学数学题 GSM8K 数据集上做了一点简单的改动，就让 GPT3-5 和 GPT4 的评测结果拉开了五倍的差距。同时对一众在 GSM8k 上达到了 SOTA 结果的开源数学专精大模型如 WizardMath, Mammoth, MetaMath 等在该变体上进行评测，发现一众专精化的大模型实际的泛化效果并不理想。

论文地址：

https://arxiv.org/abs/2312.17080

代码链接：

https://github.com/dvlab-research/MR-GSM8K

动机和贡献：这个工作的动机和出发点是注意到了当前评测体系存在的一些问题。首先，部分评测集较为容易拟合。比如 70B 的 LLAMA2 在 GSM8K 训练集上微调后都可以达到 75 的准确率。而最近两三个月，凭借着对 ChatGPT 的蒸馏和数据增广比如对题目类型和题目解答增广，冒出了非常多的新 SOTA 数学大模型。

但最近一篇研究发现，在 GSM8K 上取得了 SOTA 效果的一众模型在最新发布的匈牙利数学考试上，模型效果急剧下降（如下图所示）。也就是说 GSM8K 并没有能够真实反映模型的数学能力。还有一个比较重大的缺陷是在大模型时代，模型可以通过复杂的思维链，展现推理过程。在这种情况下，只关注最终的计算结果，而不关注推理过程会导致无法发现模型的一些认知缺陷，推理深度的不足。

<