©PaperWeekly 原创 · 作者 | 中森
单位 | 香港中文大学博士生
先上暴论:今天分享的 Paper 在小学数学题 GSM8K 数据集上做了一点简单的改动,就让 GPT3-5 和 GPT4 的评测结果拉开了五倍的差距。同时对一众在 GSM8k 上达到了 SOTA 结果的开源数学专精大模型如 WizardMath, Mammoth, MetaMath 等在该变体上进行评测,发现一众专精化的大模型实际的泛化效果并不理想。
论文地址:
https://arxiv.org/abs/2312.17080
代码链接:
https://github.com/dvlab-research/MR-GSM8K
动机和贡献:这个工作的动机和出发点是注意到了当前评测体系存在的一些问题。首先,部分评测集较为容易拟合。比如 70B 的 LLAMA2 在 GSM8K 训练集上微调后都可以达到 75 的准确率。而最近两三个月,凭借着对 ChatGPT 的蒸馏和数据增广比如对题目类型和题目解答增广,冒出了非常多的新 SOTA 数学大模型。
但最近一篇研究发现,在 GSM8K 上取得了 SOTA 效果的一众模型在最新发布的匈牙利数学考试上,模型效果急剧下降(如下图所示)。也就是说 GSM8K 并没有能够真实反映模型的数学能力。还有一个比较重大的缺陷是在大模型时代,模型可以通过复杂的思维链,展现推理过程。在这种情况下,只关注最终的计算结果,而不关注推理过程会导致无法发现模型的一些认知缺陷,推理深度的不足。
<