一文读懂大模型思维链（Chain-of-Thought）、ToT、GoT、PoT等提示词工程框架

2025年，DeepSeek R1备受大众热烈关注。与以往的GPT系列、文心一言、通义千问等生成模型有所不同，它属于推理模型，显著增强了大模型处理复杂问题的能力。DeepSeek R1之所以具备推理功能，得益于其在模型中运用了思维链（Chains of Thoughts，CoT）。思维链这一概念最早由Google Brain高级研究员Jason Wei和Xuezhi Wang提出，并在2022年1月发表的论文“Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”（中文译文为《为什么DeepSeek大模型可以深度思考？）

本文将为大家深入解析CoT思维链技术，同时介绍由CoT衍生而来的ToT、GoT、PoT等提示词工程框架。

1 、提示词与思维链

众所周知，提示词（Prompt）是用户向大语言模型提出的问题、指令或请求，其作用在于清晰地传达用户期望解决的问题或完成的任务，是大语言模型理解用户需求并生成相关准确回复或内容的关键所在。

在提示词交互模式下，用户与大模型的互动遵循“提问——返回答案”的流程，即用户凭借提示词向大模型提出疑问，大模型直接生成并反馈答案。在这种模式中，大模型主要依赖前期预训练所积累的知识来作答。然而，面对复杂问题时，单纯依靠生成模型和普通提示词往往难以得出准确有效的答案。例如，当遇到“小明有70元，是小丽的2倍少8元，小丽有多少元？”这类问题，大模型可能会给出错误的回答。这是因为大模型需要足够的时间进行思考，经过充分思考后得出的答案才更具准确性，而引入思维链能够促使大模型进行更深入的思考。

所谓思维链（Chain of Thought，简称CoT），就是将逻辑复杂的问题拆解，通过一系列具有逻辑关联的思考步骤，构建出完整的思维过程。

当融入思维链后，用户与大模型的交互模式转变为“提问——推理步骤——返回答案”，在提问与答案之间增添了逐步推导的过程，从而更精准地接近问题的正确答案 。

2、 思维链的分类和组成

所以，我们在提示词中加入要求：Let’s think step by step。这样，大模型就会分步骤思考这个问题，并做出回答。这是最简单的一种思维链，用一句提示语“Let’s think step by step”让大模型自己生成思维链，称作零样本思维链（Zero-Shot-CoT）。但这种方式产生的思维链可能与我们预想的有差距。

大模型像人一样，如果你告诉它一个人类推理的示例，就是你是怎么一步步思考推理的，它会更容易理解怎么去做推理。下面的例子中，就给出了一个推理示例。可以看到，没有分步骤推理示例、仅用提示词的话，大模型无法给出正确答案。但是有了分步骤推理示例，大模型也有样学样，分步骤思考这个问题，并给出了最终答案。

有推理示例的思维链称为少样本思维链（Few-Shot-CoT）。有样本的思维链能更好激发大模型的潜力，无需额外训练就能够提升模型的能力。

一个完整的包含思维链的提示词主要由三部分组成：指令（Instruction）、逻辑依据（Rationale）以及示例（Exemplars）。指令用于描述问题并且告知大模型的输出格式，逻辑依据是指 CoT 的中间推理过程，可以包含问题的解决方案、中间推理步骤以及与问题相关的任何外部知识，而示例则指以少样本的方式为大模型提供输入输出对的基本格式，每一个示例都包含：问题，推理过程与答案。

3、思维链的作用

思维链对于大模型推广应用具有重要价值和意义。

1、增强了大模型的推理能力。 有了思维链之后，大模型的推理能力大大增强了，可以分步骤解决更加复杂的问题。

2、提高了大模型的可解释性。 同时，有了思维链，用户可以观察到大模型的分步骤思考过程，提高了大模型的可解释性，大模型不再是一个黑盒，用户对大模型的输出结果的信任程度更高。这对于一些严肃重要的场景来说非常关键。

3、使得大模型更加可控。 通过使用包含思维链的提示词，用户可以有效影响大模型的问题解答过程，不再是手足无措地接受大模型给出的结果。

4、推理模型中的思维链

推理模型相当于是将思维链技术内化到大模型中。也就是说，推理模型能够接受普通的提示词，并自动生成思维链。 自动生成思维链又进一步分为指令的自动生成、逻辑依据的自动生成和示例的自动生成。因此，对于推理模型来说，提示词可以更加简单，复杂性留给了大模型。

指令自动生成包括了自动 Prompt 工程（APE）以及提示优化（OPRO），核心原理都是观察各个候选prompt在实际任务中的表现，并从中挑选表现最优的prompt。

逻辑依据的自动生成主要是CoT-SC（Chain-of-Thought-Self-Consistency，思维链自洽性）。CoT-SC即思维链自洽性是对CoT思想的延续。该方法是在响应查询时自动构建多个推理路径，并开始并发推理，并在最终确定答案之前对每个推理路径进行评估并赋予不同权重，最终选择最有效、最连贯的思维链。

示例自动生成技术以Auto-CoT为代表。具体而言，Auto-CoT 分为两个阶段：（1）问题聚类，对任务数据集进行聚类（2）；示例采样：从每个聚类中心中选择一个代表性问题使用 Zero-Shot-CoT 生成思维链作为示例。

5 、其他提示词工程框架

思维链CoT主要是线性的，多个推理步骤连成一个链条。在思维链基础上，又衍生出ToT、GoT、PoT等多种推理模式。这些和CoT一样都属于提示词工程的范畴。

1、ToT（Tree-of-Thoughts，思维树）

ToT是以树状形式展开思维链，并允许回溯，探索从一个基本想法产生的多个推理分支。树上的每个节点都被称为“思维”，是一个连贯的语言序列，是通往最终答案的一步。

ToT的优势在于其有条不紊的组织。首先，系统会将一个问题分解，并生成一个潜在推理步骤或“思维”候选者的列表。然后，对这些想法进行评估，系统会衡量每个想法产生所需解决方案的可能性。

树是计算机科学中重要的数据结构。在ToT中，为了帮助模型识别最有效的思维序列，系统使用了常用的搜索算法，比如广度优先搜索（BFS）和深度优先搜索（DFS）。

可以看到，CoT可以用于执行明确、唯一的思维序列，ToT可以探索多种可能的思维序列。CoT实际上是ToT的一种特殊情况，ToT的灵活性和适应性更强。

2、 GoT（Graph-of-Thoughts，思维图谱）

GoT框架进一步将树结构演化为有向无环图（DAG）。每一个想法都可以作为图中的顶点。图中可以出现自我循环或者聚合，自我循环可以巩固一条特定的思路，也可以将多个想法聚合成一个连贯的思路。

图中的有向边描述了这些思想之间的相互依存关系。具体地说，如果一条边从思维t1延伸到t2，则表示t2是基于t1构思的。

Graph-of-Thoughts, source: Besta et al. (2023)

GoT的特点在于它能够对各种想法进行转换，进一步完善推理过程。主要的变化包括：（1）聚合，即将几个想法融合成一个统一的想法；（2）精化，对单个思想进行连续迭代，以提高其精度；（3）生成，有利于从现有思想中产生新的思想。

此外，GoT引入了评估维度，通过评分和排名来对每个单独的想法进行评估。系统根据分数对这些想法进行分级，这对于确定哪些想法值得优先考虑或实施非常有用。

3、PoT（Program-of-Thoughts，程序思维）

PoT是将问答背后的推理过程公式化为一个可执行程序（Program），将程序解释器输出作为最终答案的一部分。

思维程序（PoT）是一种独特的LLM推理方法。它不仅仅是生成自然语言答案，而是要求创建一个可执行程序，可以在Python等程序解释器上运行，从而产生实际的结果。这样，PoT的表达更加清晰、准确，尤其是对于需要进行数值计算的数学类型逻辑问题更是如此。

需要注意的是，PoT的程序执行不一定针对最终答案，而是可以作为最终答案的中间步骤的一部分。

下图是CoT和PoT两种推理框架的对比。

6、结语

CoT、ToT、GoT、PoT等提示词工程框架大幅提升了大模型的推理能力，让我们能够使用大模型解决更多复杂问题，提升了大模型的可解释性和可控性，为大模型应用的拓展奠定了基础。

我的DeepSeek部署资料已打包好（自取↓）
https://pan.quark.cn/s/7e0fa45596e4

但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里！

❗️为什么你必须了解大模型？

1️⃣ 薪资爆炸：应届大模型工程师年薪40万起步，懂“Prompt调教”的带货主播收入翻3倍

2️⃣ 行业重构：金融、医疗、教育正在被AI重塑，不用大模型的公司3年内必淘汰

3️⃣ 零门槛上车：90%的进阶技巧不需写代码！会说话就能指挥AI

（附深度求索BOSS招聘信息）

⚠️警惕：当同事用DeepSeek 3小时干完你3天的工作时，淘汰倒计时就开始了。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？老师啊，我自学没有方向怎么办？老师，这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！当然这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！