语言模型在数学解题中思维链(Chain-of-Thought)设计

介绍一下最近在语言模型做解题方面的进展"Design of Chain-of-Thought in Math Problem Solving".

大模型在数学解题方面效果现在其实还并不算完美，尤其是使用自然语言推理，还不能生成完全可靠的Chain-of-thought (CoT)的推理步骤。后来有作者也提出运用Python程序来当作CoT (Gao et al., 2023)， 效果也是非常显著。

博客介绍的这篇文章没有太多的去提出一些新的东西，只是针对CoT的各种表达在数学解题中的效果做一个比较，同时也采用了 SFT + Majority Voting 或者 SFT + Reranking 的范式，对整体效果做了一个比较大的提升。

研究介绍

就是看各种各样的CoT，哪一个在数学解题这个任务上表现更好了。比较直接，对比下面几种CoT 和程序的表达对比，同时文章采用了Wolfram和Python两种程序语言来做对比实验。

• Natual lanuage (NL): 和CoT prompting 的原论文一样，用自然语言来表达中间的推理过程。
• Comment-Describ