Stepwise Self-Consistent Mathematical Reasoning with Large Language Models

本文是LLM系列文章，针对《Stepwise Self-Consistent Mathematical Reasoning with Large Language Models》的翻译。

摘要

使用大型语言模型进行复杂的数学推理是困难的，主要是由于多步骤推理的复杂性。这一过程的主要挑战包括（1）选择关键的中间结果来推进程序，以及（2）对潜在解决方案的有限探索。为了解决这些问题，我们引入了一种新的算法，即逐步自洽思想链（SSC-CoT）。SSCCoT采用了一种基于各种推理链的交集来选择中间步骤的策略。此外，SSC-CoT使模型能够通过查询包括相关领域知识的知识图谱来发现关键的中间步骤。为了验证SSC CoT，我们提出了一个新的数据集TriMaster100，专门用于复杂的三角问题。该数据集包含100个问题，每个解决方案都被分解为评分的中间步骤，有助于对数学推理过程进行全面评估。在TriMaster100上，SSCCoT将最先进方法的有效性提高了三倍。此外，我们在广泛认可的复杂数学问题数据集MATH level 5上对SSCCoT进行了基准测试，其准确率超过了第二好的方法7.2%。代码和TriMaster100数据集可在以下位置找到：https://github.com/zhao-zilong/ssc