何为思维树 (ToT)?如何让AI"深思熟虑"?
想象一下你正在驾驶一辆汽车,没有地图的情况下如何进入正确的路口,找到最佳的路径?在这样的场景下,思维树就像是一张详细的道路地图。在这张地图上,不同的道路代表着不同的语义信息,而交叉口和路标则代表着不同的思维节点。当你提出一个问题或者输入一个请求时,就相当于输入了目的地,而思维树会根据你的输入在地图上找到最佳的路径,指引你达到目的地。
与传统的导航系统相比,思维树更加智能和灵活。它不仅考虑了最短的路径,还会根据你的需求和语境来调整路线。比如,当你提出一个问题时,思维树会考虑到问题的不同方面,找到与之相关的多条路径,并提供多样化的答案。而当你改变了问题的表述或者提供了更多的信息时,思维树会相应地调整路线,提供更加准确的答案。思维树就像是一位智慧的导航系统,它能够帮助我们更好地理解和生成自然语言,为我们提供准确、连贯的信息输出。
ToT框架的核心概念是以树状结构来表示语义信息。这种结构不仅仅是一种数据形式,更是一种抽象概念,它使得模型可以更好地理解输入序列中的语义信息,并在生成输出时参考这些信息。这种结构的设计使得ToT框架能够更好地模拟人类的思维过程,从而生成更加自然、准确的文本。ToT的具体回答框架包括以下四个问题:
- 举一反三,列举多路径通罗马
- 分布评估,集成方案,选择最优
- 启发性地评估状态,前后枚举追溯,全局最优
- 集成开搜,确定路径
图 1:示意图展示了使用 LLMs 解决问题的各种方法。每个矩形框代表一个思考过程,它是一个连贯的语言序列,作为解决问题的中间步骤。
下面我们来深度理解该框架是如何将模型推理显著提高70%,又是如何使用到我们的AI-Prompt的?
ToT核心框架
ToT核心框架在论文里面讲解十分深入,为了让更多人明白,我们这里不会涉及到较为复杂的计算公式。我们首先继续复习一下之前的CoT算法:
CoT方法中,模型的响应被指示逐步进行并呈现涉及的所有步骤。这样做减少了结果不准确的可能性,并使评估模型响应变得更容易。通过逐步展示处理过程,模型不仅提供了最终的答案或解决方案,而且还展示了达到这个答案的具体步骤。这种方法对于教育、解释复杂问题或在需要详细说明决策过程的情境中尤其有用。它允许用户跟踪模型的思考过程,理解模型是如何从问题描述到达最终结论的。
ToT(Tree of Thoughts)被视为CoT(Chain of Thoughts)的升级版,主要是因为它在表示和利用语义信息方面更加强大和灵活。ToT采用树状结构来表示语义信息,而不是像CoT那样简单地采用线性链式结构。这意味着ToT可以更好地捕捉和表示语义之间的复杂关系,使得模型能够更加全面地理解和生成自然语言。由于树状结构的引入,ToT能够同时考虑到多个可能的思维路径,而不局限于单一的线性链式结构。它可以利用树状结构来对语义进行分层和组织,能够根据不同的语境和需求生成多样化的输出。
在ToT框架中,每个节点代表一个语义单元,例如一个概念、一个主题或者一个关键词。这些节点之间通过边连接,形成了一种复杂的关联网络。当模型接收到一个输入序列时,它会根据这个序列在ToT中寻找最相关的节点,并基于这些节点生成输出。
ToT框架的优势在于它能够同时考虑到多个可能的思维路径,并能够根据输入序列中的不同语义信息来动态调整生成输出的策略。这种能力使得ToT框架在生成文本时更加灵活、多样化,能够适应不同的语境和需求。
ToT框架推理流程
假设我们有一个基于思维树(ToT)的文本生成模型,我们想要使用这个模型来回答一个关于自然界的问题:“为什么天空是蓝色的?”
- 输入问题:首先,我们将问题“为什么天空是蓝色的?”输入到思维树模型中。
- 思维树搜索:思维树模型开始搜索树状结构,寻找与问题相关的节点。这些节点可以是关于光学、大气科学、颜色原理等方面的概念。
- 多路径选择:思维树发现了与问题相关的多个思维路径。例如,它可能找到与大气散射相关的节点、光谱原理相关的节点、以及颜色感知机制相关的节点。
- 整合信息:模型将从不同路径中获取的信息整合起来,形成一个综合的理解。它会考虑到大气中气体分子对太阳光的散射过程,以及不同波长的光在大气中的传播和吸收情况。
- 生成答案:基于综合的理解,思维树模型生成了一个关于天空为什么是蓝色的解释。这个解释可能会涉及到太阳光中不同波长的光被散射后,蓝色光的波长相对较短,更容易被大气中的气体分子散射到我们的视线中,从而导致天空呈现出蓝色。
以上就为整个ToT框架对一个Prompt的拆解过程。ToT框架通常由多个子模型组成,这些子模型协同工作,以实现对输入序列的语义理解和生成输出的功能。
- 语义理解:ToT框架首先对输入的文本进行语义理解。这个过程涉及到将自然语言转换为计算机能够理解的形式。通常,ToT框架会使用一系列预训练的语义表示模型,如BERT、GPT等,来对输入文本进行编码和表示,从而捕捉到输入文本中的语义信息。
- 构建思维树:基于对输入文本的语义表示,ToT框架会构建一个思维树,以表示文本中的不同思维路径和关系。这个过程通常涉及到树状结构的设计和构建算法。思维树中的每个节点代表一个语义单元,如概念、主题或关键词,而边表示节点之间的关联关系。
- 路径选择:在生成输出文本时,ToT框架会根据输入文本和构建的思维树选择合适的思维路径。这个过程通常涉及到路径搜索算法,以确定最相关和最合适的思维路径。ToT框架可以考虑到多个可能的思维路径,并根据输入文本的不同语义信息动态调整路径选择策略。
- 整合信息:选择了合适的思维路径后,ToT框架会从不同路径中获取信息,并将其整合起来,形成一个综合的理解。这个过程涉及到信息融合和加权的算法,以确保生成的输出文本能够考虑到多个因素和可能性。
- 生成输出:最后,ToT框架根据整合的信息生成输出文本。这个过程涉及到文本生成模型和算法,通常采用生成式模型,如GPT,来生成连贯、自然的文本。ToT框架会根据整合的信息和选择的思维路径来指导文本生成过程,以生成准确、多样化的输出。
研究者在 24 点和 5x5 迷你填词游戏上进行了实验,结果表明了 AoT 方法的优越性 —— 其性能表现由于单 prompt 方法(如标准方法、CoT、CoT-SC),同时也能媲美利用外部机制的方法(如 ToT)。
可以明显看出,结合了 CoT/CoT-SC 的标准 prompt 设计方法明显落后于通过 LLM 使用的树搜索方法。
AoT 在迷你填词任务上的有效性,其填词成功率超过之前使用各种 prompt 技术的方法。但是,它比 ToT 差。一个重要的观察是 ToT 使用的查询量巨大,超过了 AoT 百倍以上。另一个让 AoT 逊于 ToT 的因素是算法示例中固有的回溯能力没有充分得到激活。如果能完全解锁该能力,会导致生成阶段显著延长。相比之下,ToT 的优势在于可以利用外部记忆来进行回溯。
ToT部署使用
现在部署ToT是比较方便的,前提确保你可以有自己训练好的大模型,或者是大模型的API,那么我们直接通过pip就可以部署:
pip install tree-of-thoughts-llm
也可以直接通过source进行clone安装:
git clone https://github.com/princeton-nlp/tree-of-thought-llm
cd tree-of-thought-llm
pip install -r requirements.txt
pip install -e . # install `tot` package
可以通过Demo进行测试,查看是否安装完成:
import argparse
from tot.methods.bfs import solve
from tot.tasks.game24 import Game24Task
args = argparse.Namespace(backend='gpt-4', temperature=0.7, task='game24', naive_run=False, prompt_sample=None, method_generate='propose', method_evaluate='value', method_select='greedy', n_generate_sample=1, n_evaluate_sample=3, n_select_sample=5)
task = Game24Task()
ys, infos = solve(args, task, 900)
print(ys[0])
如果成功的话就会输出:
10 - 4 = 6 (left: 5 6 6)
5 * 6 = 30 (left: 6 30)
30 - 6 = 24 (left: 24)
Answer: (5 * (10 - 4)) - 6 = 24
如果是想要配套OpenAI API开发使用的话,可以按照我这个代码格式:
import os
from tree_of_thoughts import ToTAgent, MonteCarloSearch
from dotenv import load_dotenv
from swarms import Agent, OpenAIChat
load_dotenv()
# Get the API key from the environment
api_key = os.environ.get("OPENAI_API_KEY")
# Initialize an agent from swarms
agent = Agent(
agent_name="tree_of_thoughts",
agent_description="This agent uses the tree_of_thoughts library to generate thoughts.",
system_prompt=None,
llm = OpenAIChat(),
)
# Initialize the ToTAgent class with the API key
model = ToTAgent(
agent,
strategy="cot",
evaluation_strategy="value",
enable_react=True,
k=3,
)
# Initialize the MonteCarloSearch class with the model
tree_of_thoughts = MonteCarloSearch(model)
# Define the initial prompt
initial_prompt = """
Input: 2 8 8 14
Possible next steps:
2 + 8 = 10 (left: 8 10 14)
8 / 2 = 4 (left: 4 8 14)
14 + 2 = 16 (left: 8 8 16)
2 * 8 = 16 (left: 8 14 16)
8 - 2 = 6 (left: 6 8 14)
14 - 8 = 6 (left: 2 6 8)
14 / 2 = 7 (left: 7 8 8)
14 - 2 = 12 (left: 8 8 12)
Input: use 4 numbers and basic arithmetic operations (+-*/) to obtain 24 in 1 equation
Possible next steps:
"""
# Define the number of thoughts to generate
num_thoughts = 1
max_steps = 3
max_states = 4
pruning_threshold = 0.5
# Generate the thoughts
solution = tree_of_thoughts.solve(
initial_prompt=initial_prompt,
num_thoughts=num_thoughts,
max_steps=max_steps,
max_states=max_states,
pruning_threshold=pruning_threshold,
# sleep_time=sleep_time
)
print(f"Solution: {solution}")
当然大家根据自己的实际场景调整即可。
总言
展望未来,随着人工智能技术的不断发展,我们可以预见到更多类似ToT框架的新型AI技术将不断涌现。这些新技术将更加强大、智能,能够更好地理解和处理自然语言,为人们的生活和工作带来更多便利和可能性。ToT框架作为一种创新的AI技术,为我们提供了一种全新的思路和方法来处理自然语言。期待着未来AI技术的不断进步和发展,为我们的生活和工作带来更多的惊喜和改变。
最后分享
免费分享:全套的AI大模型学习资源,包括 2024最新版全套大模型学习路线图,学习文档、书籍、学习视频教程、面试题等!带大家快速高效的从基础到高级! 有需要的小伙伴可以点击下方链接哦~
如有侵权,请联系删除。