AI大模型 | Prompt提示工程-思维树 (ToT)策略下的Prompt

AI绘画大智

于 2024-07-23 09:51:30 发布

阅读量806

点赞数 13

文章标签：人工智能 prompt ai agi 学习

本文链接：https://blog.csdn.net/2401_86137667/article/details/140627133

版权

何为思维树 (ToT)？如何让AI"深思熟虑"？

想象一下你正在驾驶一辆汽车，没有地图的情况下如何进入正确的路口，找到最佳的路径？在这样的场景下，思维树就像是一张详细的道路地图。在这张地图上，不同的道路代表着不同的语义信息，而交叉口和路标则代表着不同的思维节点。当你提出一个问题或者输入一个请求时，就相当于输入了目的地，而思维树会根据你的输入在地图上找到最佳的路径，指引你达到目的地。

图片.png 与传统的导航系统相比，思维树更加智能和灵活。它不仅考虑了最短的路径，还会根据你的需求和语境来调整路线。比如，当你提出一个问题时，思维树会考虑到问题的不同方面，找到与之相关的多条路径，并提供多样化的答案。而当你改变了问题的表述或者提供了更多的信息时，思维树会相应地调整路线，提供更加准确的答案。思维树就像是一位智慧的导航系统，它能够帮助我们更好地理解和生成自然语言，为我们提供准确、连贯的信息输出。

ToT框架的核心概念是以树状结构来表示语义信息。这种结构不仅仅是一种数据形式，更是一种抽象概念，它使得模型可以更好地理解输入序列中的语义信息，并在生成输出时参考这些信息。这种结构的设计使得ToT框架能够更好地模拟人类的思维过程，从而生成更加自然、准确的文本。ToT的具体回答框架包括以下四个问题：

举一反三，列举多路径通罗马
分布评估，集成方案，选择最优
启发性地评估状态，前后枚举追溯，全局最优
集成开搜，确定路径

图片.png

图 1：示意图展示了使用 LLMs 解决问题的各种方法。每个矩形框代表一个思考过程，它是一个连贯的语言序列，作为解决问题的中间步骤。

下面我们来深度理解该框架是如何将模型推理显著提高70%，又是如何使用到我们的AI-Prompt的？

ToT核心框架

ToT核心框架在论文里面讲解十分深入，为了让更多人明白，我们这里不会涉及到较为复杂的计算公式。我们首先继续复习一下之前的CoT算法：

CoT方法中，模型的响应被指示逐步进行并呈现涉及的所有步骤。这样做减少了结果不准确的可能性，并使评估模型响应变得更容易。通过逐步展示处理过程，模型不仅提供了最终的答案或解决方案，而且还展示了达到这个答案的具体步骤。这种方法对于教育、解释复杂问题或在需要详细说明决策过程的情境中尤其有用。它允许用户跟踪模型的思考过程，理解模型是如何从问题描述到达最终结论的。

图片.png

ToT（Tree of Thoughts）被视为CoT（Chain of Thoughts）的升级版，主要是因为它在表示和利用语义信息方面更加强大和灵活。ToT采用树状结构来表示语义信息，而不是像CoT那样简单地采用线性链式结构。这意味着ToT可以更好地捕捉和表示语义之间的复杂关系，使得模型能够更加全面地理解和生成自然语言。由于树状结构的引入，ToT能够同时考虑到多个可能的思维路径，而不局限于单一的线性链式结构。它可以利用树状结构来对语义进行分层和组织，能够根据不同的语境和需求生成多样化的输出。

在ToT框架中，每个节点代表一个语义单元，例如一个概念、一个主题或者一个关键词。这些节点之间通过边连接，形成了一种复杂的关联网络。当模型接收到一个输入序列时，它会根据这个序列在ToT中寻找最相关的节点，并基于这些节点生成输出。

图片.png

ToT框架的优势在于它能够同时考虑到多个可能的思维路径，并能够根据输入序列中的不同语义信息来动态调整生成输出的策略。这种能力使得ToT框架在生成文本时更加灵活、多样化，能够适应不同的语境和需求。

ToT框架推理流程

假设我们有一个基于思维树（ToT）的文本生成模型，我们想要使用这个模型来回答一个关于自然界的问题：“为什么天空是蓝色的？”

输入问题：首先，我们将问题“为什么天空是蓝色的？”输入到思维树模型中。
思维树搜索：思维树模型开始搜索树状结构，寻找与问题相关的节点。这些节点可以是关于光学、大气科学、颜色原理等方面的概念。
多路径选择：思维树发现了与问题相关的多个思维路径。例如，它可能找到与大气散射相关的节点、光谱原理相关的节点、以及颜色感知机制相关的节点。
整合信息：模型将从不同路径中获取的信息整合起来，形成一个综合的理解。它会考虑到大气中气体分子对太阳光的散射过程，以及不同波长的光在大气中的传播和吸收情况。
生成答案：基于综合的理解，思维树模型生成了一个关于天空为什么是蓝色的解释。这个解释可能会涉及到太阳光中不同波长的光被散射后，蓝色光的波长相对较短，更容易被大气中的气体分子散射到我们的视线中，从而导致天空呈现出蓝色。

图片.png

以上就为整个ToT框架对一个Prompt的拆解过程。ToT框架通常由多个子模型组成，这些子模型协同工作，以实现对输入序列的语义理解和生成输出的功能。

图片.png

语义理解：ToT框架首先对输入的文本进行语义理解。这个过程涉及到将自然语言转换为计算机能够理解的形式。通常，ToT框架会使用一系列预训练的语义表示模型，如BERT、GPT等，来对输入文本进行编码和表示，从而捕捉到输入文本中的语义信息。
构建思维树：基于对输入文本的语义表示，ToT框架会构建一个思维树，以表示文本中的不同思维路径和关系。这个过程通常涉及到树状结构的设计和构建算法。思维树中的每个节点代表一个语义单元，如概念、主题或关键词，而边表示节点之间的关联关系。

图片.png

路径选择：在生成输出文本时，ToT框架会根据输入文本和构建的思维树选择合适的思维路径。这个过程通常涉及到路径搜索算法，以确定最相关和最合适的思维路径。ToT框架可以考虑到多个可能的思维路径，并根据输入文本的不同语义信息动态调整路径选择策略。
整合信息：选择了合适的思维路径后，ToT框架会从不同路径中获取信息，并将其整合起来，形成一个综合的理解。这个过程涉及到信息融合和加权的算法，以确保生成的输出文本能够考虑到多个因素和可能性。
生成输出：最后，ToT框架根据整合的信息生成输出文本。这个过程涉及到文本生成模型和算法，通常采用生成式模型，如GPT，来生成连贯、自然的文本。ToT框架会根据整合的信息和选择的思维路径来指导文本生成过程，以生成准确、多样化的输出。

图片.png

研究者在 24 点和 5x5 迷你填词游戏上进行了实验，结果表明了 AoT 方法的优越性 —— 其性能表现由于单 prompt 方法（如标准方法、CoT、CoT-SC），同时也能媲美利用外部机制的方法（如 ToT）。

图片.png 可以明显看出，结合了 CoT/CoT-SC 的标准 prompt 设计方法明显落后于通过 LLM 使用的树搜索方法。

图片.png AoT 在迷你填词任务上的有效性，其填词成功率超过之前使用各种 prompt 技术的方法。但是，它比 ToT 差。一个重要的观察是 ToT 使用的查询量巨大，超过了 AoT 百倍以上。另一个让 AoT 逊于 ToT 的因素是算法示例中固有的回溯能力没有充分得到激活。如果能完全解锁该能力，会导致生成阶段显著延长。相比之下，ToT 的优势在于可以利用外部记忆来进行回溯。

图片.png

ToT部署使用

现在部署ToT是比较方便的，前提确保你可以有自己训练好的大模型，或者是大模型的API，那么我们直接通过pip就可以部署：

pip install tree-of-thoughts-llm

也可以直接通过source进行clone安装：

git clone https://github.com/princeton-nlp/tree-of-thought-llm
cd tree-of-thought-llm
pip install -r requirements.txt
pip install -e .  # install `tot` package

可以通过Demo进行测试，查看是否安装完成：

import argparse
from tot.methods.bfs import solve
from tot.tasks.game24 import Game24Task

args = argparse.Namespace(backend='gpt-4', temperature=0.7, task='game24', naive_run=False, prompt_sample=None, method_generate='propose', method_evaluate='value', method_select='greedy', n_generate_sample=1, n_evaluate_sample=3, n_select_sample=5)

task = Game24Task()
ys, infos = solve(args, task, 900)
print(ys[0])

如果成功的话就会输出：

10 - 4 = 6 (left: 5 6 6)
5 * 6 = 30 (left: 6 30)
30 - 6 = 24 (left: 24)
Answer: (5 * (10 - 4)) - 6 = 24

如果是想要配套OpenAI API开发使用的话，可以按照我这个代码格式：

import os
from tree_of_thoughts import ToTAgent, MonteCarloSearch
from dotenv import load_dotenv
from swarms import Agent, OpenAIChat

load_dotenv()

# Get the API key from the environment
api_key = os.environ.get("OPENAI_API_KEY")

# Initialize an agent from swarms
agent = Agent(
    agent_name="tree_of_thoughts",
    agent_description="This agent uses the tree_of_thoughts library to generate thoughts.",
    system_prompt=None,
    llm = OpenAIChat(),   
)

# Initialize the ToTAgent class with the API key
model = ToTAgent(
    agent,
    strategy="cot",
    evaluation_strategy="value",
    enable_react=True,
    k=3,
)


# Initialize the MonteCarloSearch class with the model
tree_of_thoughts = MonteCarloSearch(model)

# Define the initial prompt
initial_prompt = """


Input: 2 8 8 14
Possible next steps:
2 + 8 = 10 (left: 8 10 14)
8 / 2 = 4 (left: 4 8 14)
14 + 2 = 16 (left: 8 8 16)
2 * 8 = 16 (left: 8 14 16)
8 - 2 = 6 (left: 6 8 14)
14 - 8 = 6 (left: 2 6 8)
14 /  2 = 7 (left: 7 8 8)
14 - 2 = 12 (left: 8 8 12)
Input: use 4 numbers and basic arithmetic operations (+-*/) to obtain 24 in 1 equation
Possible next steps:
"""

# Define the number of thoughts to generate
num_thoughts = 1
max_steps = 3
max_states = 4
pruning_threshold = 0.5


# Generate the thoughts
solution = tree_of_thoughts.solve(
    initial_prompt=initial_prompt,
    num_thoughts=num_thoughts,
    max_steps=max_steps,
    max_states=max_states,
    pruning_threshold=pruning_threshold,
    # sleep_time=sleep_time
)

print(f"Solution: {solution}")

当然大家根据自己的实际场景调整即可。

总言

展望未来，随着人工智能技术的不断发展，我们可以预见到更多类似ToT框架的新型AI技术将不断涌现。这些新技术将更加强大、智能，能够更好地理解和处理自然语言，为人们的生活和工作带来更多便利和可能性。ToT框架作为一种创新的AI技术，为我们提供了一种全新的思路和方法来处理自然语言。期待着未来AI技术的不断进步和发展，为我们的生活和工作带来更多的惊喜和改变。

最后分享

免费分享：全套的AI大模型学习资源，包括 2024最新版全套大模型学习路线图，学习文档、书籍、学习视频教程、面试题等！带大家快速高效的从基础到高级！有需要的小伙伴可以点击下方链接哦~

如有侵权，请联系删除。

AI绘画大智

关注

13
点赞
踩
24

收藏

觉得还不错? 一键收藏
0
评论
AI大模型 | Prompt提示工程-思维树 (ToT)策略下的Prompt

免费分享：全套的AI大模型学习资源，包括 2024最新版全套大模型学习路线图，学习文档、书籍、学习视频教程、面试题等！带大家快速高效的从基础到高级！有需要的小伙伴可以点击下方链接哦~AI大模型入门基础教程学习指南，带你从入门到进阶2024最新版全套大模型学习路线图（完整版）AI大模型时代下，初学者该怎么才能快速入门？如有侵权，请联系删除。
复制链接

扫一扫