【Prompt Enginner】Tree of Thoughts: Deliberate Problem Solving with Large Language Models

问题背景

现有的方式在思考过程中，缺乏对多种不同结果的思考延伸，并且缺乏规划、展望和回溯来帮助评估不同选择的结果。为启发式的增强推理能力，作者引入树形启发式思考框架TOT。

本文方法

• 思想动机：一个真正的解决问题的过程包括反复使用现有的信息来开始探索，这反过来又揭示了更多的信息，直到最终发现获得解决方案的方法。
• 实现步骤：
  • 思考分级。根据问题设计并分解中间的思考步骤。思考的粒度如果够小，有助于后续生成更多样化的思考。思考的粒度如果够大，有助于评估器对其评估。
  • 思考生成器。生成多个思考并根据评估器和搜索算法的设定进行采样。
  • 状态评估。使用LLM进行价值评估。备选两种方式：1）对每个状态单独赋值：打分（1—10）或者分类（确定、可能、不可能）；2）对所有状态进行投票
  • 搜索算法。根据不同的问题，采用不同的搜索算法。文中备选两种搜索算法：1）BFS，每一步维护b个有潜力的状态，被应用于组成24游戏和创意写作；2）DFS，达到输出或者认为后续不可能从解决问题，则进行回溯后重新探查，被应用于填字游戏。

实验效果

• 实验场景：Game of 24（给定一组数加减乘除达到24）、创意写作（给出三句话，分别作为段落的结尾，书写段落）、填字游戏（在5x5的方格中，第一行和第一列给出字母，填充完整个方格）
• 基线对比：IO prompt、COT prompt、COT-SC
• 实验结果：

  • Game of 24
    

  • Creative writing
    

  • Mini crosswords