哈工大发布大模型思维链推理综述：200+文献全面解析大语言模型思维链推理最新进展...

©PaperWeekly 原创 ·作者 | 初征，陈靖昌

单位 | 哈尔滨工业大学

研究方向 | 自然语言处理

论文标题：

A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future

论文链接：

https://arxiv.org/abs/2309.15402

仓库链接：

https://github.com/zchuz/CoT-Reasoning-Survey

引言

思维链，一种通过逐步思考解决问题的方式，在解决复杂推理任务上展现出了惊人的性能，激起了人工智能和自然语言处理领域近年来的广泛研究和关注。

然而，目前缺乏一篇针对思维链及其变体的系统性归纳和总结。针对这一问题，本文对现有思维链相关研究进行了广泛调研，对思维链构造方法、思维链增强方法、思维链结构变体进行了归纳和总结，对思维链前沿应用做出了探讨并对思维链未来潜在研究方向进行展望。

为了与传统链式思维链进行区分，本文提出了泛思维链（X-of-Thought）的概念，其泛指基于思维链核心思想——逐步思考解决问题的方法和变体。在下文中所讨论的思维链均代指广义的泛思维链。

我们期望这篇综述能够为研究者和初学者提供参考和启发，激发更多关于思维链推理领域的深入探讨，推动该领域的进一步发展和创新。

背景介绍

2.1 范式转换

近年来，随着计算能力的不断提升，大规模语言模型如雨后春笋般涌现，例如 GPT，LLAMA，BLOOM。而随着语言模型规模的不断扩大，涌现出了许多令人惊喜的能力，例如上下文学习和思维链能力。因此，自然语言处理的范式正在从预训练+微调转变为预训练+上下文学习。

2.2 上下文学习和思维链推理

上下文学习（In-context Learning）通过在提示文本中添加输入-输出示例，通过少样本学习（Few-shot Learning）的方式让 LLM 模仿已有示例（demonstrations）解决新的问题。通过上下文学习，LLM  无需额外微调即可使用，并且还能取得不错的性能。尽管如此，其在面对复杂数学推理、常识推理等复杂推理任务时表现不佳。

思维链（Chain-of-Thought）推理要求模型在输出最终答案之前，显式输出中间逐步的推理步骤。这一举措大幅度提高了 LLM 在复杂推理任务上的表现，并且输出的中间步骤方便使用者了解模型的思考过程，提高了大模型推理的可解释性。目前，思维链推理已经成为大模型处理复杂任务的一个常用手段。

章节组织

我们将从三个角度介绍思维链相关方法，并且在最后进行了方法间的比较和讨论：

• 思维链方法（包含思维链构造方法、思维链结构变体、思维链增强方法）