Paraphrase and Solve: Exploring and Exploiting the Impact of Surface Form on Mathematical Reasoning

本文是LLM系列文章，针对《Paraphrase and Solve: Exploring and Exploiting the Impact of Surface Form on Mathematical Reasoning in Large Language Models》的翻译。

摘要

本文研究了数学问题的表面形式与其在大型语言模型中的可解性之间的关系。我们发现，表面形式的细微变化会显著影响答案分布和解决率，暴露出语言模型在通过复杂问题进行推理时对表面形式缺乏鲁棒性和敏感性。为了提高数学推理性能，我们提出了自洽Paraphrases（SCoP），它使推理路径从问题的特定表面形式多样化。我们在三个大型语言模型的四个数学推理基准上评估了我们的方法，并表明SCoP比普通自一致性提高了数学推理性能，特别是对于最初被认为无法解决的问题。最后，我们提供了关于问题难度和表面形式的额外实验和讨论，包括跨模型难度一致性和释义可转移性，以及用于语言模型评估的变异方差（VOV）。

1 引言

2 问题难度和表面形式

3 短语的自我一致性

4 实验

5 讨论

6 相关工作

7 结论

这项工作强调了大规模语言模型对数学问题表面形式的求解率的可变性。利用这一点，我们引入了短语自一致性（SCoP），它提高了自一致性的数学推理性能。我们希望我们的发现能够激发人们对更强大的语言模型的需求，无论问题是如何提出的，这些模型都