论文翻译：GSM-PLUS: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Probl

GSM-PLUS: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers

GSM-PLUS: 一个全面评估大型语言模型作为数学问题解决者鲁棒性的基准测试

摘要

大型语言模型（LLMs）在各种数学推理基准测试中取得了令人印象深刻的表现。然而，关于这些模型是否真的理解并应用数学知识，还是仅仅依赖于数学推理的捷径，争论越来越多。一个关键且频繁出现的证据是，当数学问题稍有变化时，LLMs可能会出现不正确的行为。这激励我们通过测试广泛的数学问题范围，包括GSM8K（Cobbe等人，2021年）、高中数学MATH（Hendrycks等人，2021年）和大学数学定理问答Theoremqa（Chen等人，2023年），来评估LLMs数学推理能力的鲁棒性。关于广泛使用的GSM8K基准测试，像GPT-4这样的专有模型和尖端的开源模型分别报告了超过90%和80%的准确率。然而，研究界关于这些模型是否真的理解并应用数学知识，还是仅仅基于表面模式（Patel等人，2021年）解