论文浅尝 | 思维树：使用大语言模型反复思考解决问题

笔记整理：许泽众，浙江大学博士，研究方向为知识图谱上的神经符号推理

链接：https://arxiv.org/abs/2305.10601

1. 动机

语言模型是一种强大的工具，可以用于各种需要数学、符号、常识或知识推理的任务。然而，现有的语言模型推理方法通常只能进行基于单词的、从左到右的决策过程，这意味着它们在需要探索、策略性预测或初始决策至关重要的任务上可能表现不佳。为了解决这些挑战，本文提出了一个新的语言模型推理框架，“Tree of Thoughts”（ToT），它能够在思想（thoughts）之间进行多样化的推理路径探索，其中每个思想是一个连贯的文本单元，作为问题解决的中间步骤。ToT允许语言模型通过考虑多种不同的推理路径并自我评估选择来决定下一步行动，以及在必要时进行前瞻或回溯以做出全局决策。本文在三个新颖的问题解决任务上展示了ToT显著提高了语言模型的问题解决能力：24点游戏、创意写作和迷你填字游戏。例如，在24点游戏中，使用链式思维（CoT）提示的GPT-4只能解决4%的任务，而我们的方法达到了74%的成功率。我们还通过系统地消除分析了不同选择如何影响模型性能，并讨论了未来更好地训练和使用语言模型的方向。

2. 方法

<