大模型提示工程（Prompt）（下篇），思维链和思维树的进阶

前言

主要是讲了我们在使用ChatGPT等大模型应用时，如何写好我们的prompt，来帮助我们获得GPT更高质量的回答。

了解了大模型提示词的一些基本原则，并善用一些模板来遵循这些原则，能够在很多方面给我们带来很大的生产力。

题外话

在我们研究如何进阶自己的prompt的同时，网上也传出了很多ChatGPT的咒语，有一个词叫做prompt creator。

ChatGPT的能力缺陷

我们在面对逻辑、推理、数学和算术的这些应用场景中，ChatGPT的表现是不满足我们的需求的。

大模型（LLM）的涌现能力

这就需要再解释另一个概念：

大模型（LLM）的涌现能力，指的是模型未经过特定任务(数据)的训练，但是在一些技术手段下，仍然能够解决某些特定领域的问题的能力。

上篇，我们也有简单提到，大模型在一些技术手段下，能够解决某些特定领域的问题，而这种技术手段就目前的研究而言，分为两类：提示工程和微调。提示工程和微调同属对模型涌现能力的引导和优化方法，但相比微调，提示工程成本更低、使用更加灵活，且对于提升模型在小语义空间内复杂语义理解效果更好。

这也是从根本上，提示词工程的由来。

One-shot和Few-shot最早由OpenAI研究团队在论文[中率先提出，这篇论文也是提示工程方法开山鼻祖，不仅介绍了提示工程的两大核心方法，同时也详细介绍这么做背后的具体原因。

One-shot & Few-shot提示学习法

先说Zero shot

Zero-shot(零样本) Prompt 提示词技术使得我们在无需做特定训练的情况下依然可以让大模型给我们完成一些简单的任务，我们无需提供给模型额外的数据或者做微调，在很多时候依然能得到不错的效果。Zero-shot(零样本) Prompt是一种很快速便捷的方式让我们对新任务做出尝试，很适合验证我们新的想法。

往往，在一些简单的场景中，我们优先会考虑的就是Zero-shot(零样本) Prompt。

四个经典推理问题

网上我们能很容易的搜到，在Zero-shot的情况下，逻辑推理能力较弱，只能围绕相对简单的、只有线性运算过程的推理问题进行很好的解答，对于这四个经典推理题，模型只正确回答了第一个问题，其他问题都答错了，可以说模型的推理能力很差，这个是我们进一步深入的前提，感兴趣的大家可以自己搜索一下。

在面对复杂的逻辑推理和数学算术问题等场景时，这个时候我们就需要一些进阶的提示工程。

One-shot & Few-shot提示学习法

具体的应用来说，Few-shot提示方法并不复杂，只需要将一些类似的问题的问题+答案作为prompt的一部分进行输入即可。

Few-shot的编写格式：
当需要输入多段问答作为提示词时，以Q作为问题的开头、A作为回答的开头（也可以换成“问题”、“答案”），
并且不同的问答对话需要换行以便于更加清晰的展示，具体方法是通过转义符+换行来完成。

这就是示例的作用。

比如我们之前用的例子，在不带示例的情况下，并没有输出我们期望的结果。

在加入示例之后，很明显得到了我们希望的结果。

思维链提示法

思维链（Chain of Thought）是一种提示工具，用于帮助语言模型进行复杂的推理和思考过程。它通过引导模型逐步解决问题，以一系列连贯的步骤展示推理的思路和逻辑关系。

思维链提示的基本思想是将推理过程分解为多个步骤，并在每个步骤中指导模型逐步进行推理。每个步骤都通过自然语言描述，使模型能够理解和执行每个推理阶段所需的操作。

具体而言，思维链提示通常由多个中间步骤组成，每个中间步骤都解释了问题的一个方面或子问题。模型需要根据前一个步骤的结果和当前问题的要求来推断下一个步骤。通过这种逐步推理的方式，模型可以逐渐获得更多信息，并在整个推理过程中累积正确的推断。

Zero-shot-CoT提示方法

Zero-shot-CoT是在Few-shot思想下，一种更好的提示方法。它借助思维链（也被称为思考链，Chain of Thought，CoT）提示法来解决这个问题。一种非常简单而有效的方式是：

在提示词尾部追加一句“Let’s think step by step”，即可大幅提高模型推理能力。

如果切换到中文语境下，对指令“Let’s think step by step”进行中文翻译，做了大量的测试后，得出结论： “请一步步进行推理并得出结论”要远远好于“请让我们一步步进行思考”等类似的提示词语句。

正常的prompt发问

Zero-shot-CoT提示方法

Few-shot-CoT提示方法

Zero-shot-CoT是零样本提示的情况下通过修改提示词后缀激发模型的思维链，而Few-shot-CoT则是通过编写思维链样本作为提示词，让模型学会思维链的推导方式，从而更好的完成推导任务。

CoT改良方法：LEAST-TO-MOST PROMPTING（LtM提示法）

提出的背景

在谷歌大脑提出的CoT被实际验证能够大幅提升大语言模型的推理能力不久，来自谷歌大脑的另一个团队在此基础上发表了另一篇重量级论文《LEAST-TO-MOST PROMPTING ENABLES COMPLEX REASONING IN LARGE LANGUAGE MODELS》，并在其中提出了一种名为Least-to-Most（LtM）的提示方法，将大语言模型的推理能力进一步提高。这种名为LtM的提示方法不仅能够将模型在GSM8K上的表现提高至62%，甚至在某些特殊语义解读场景下能够达到3倍于CoT的效果。

该方法是截至目前围绕模型推理能力提升的最为有效的提示学习方法。

思想原理

LtM提示方法提出的初衷是为了解决CoT提示方法泛化能力不足的问题——即通过人工编写的思维链提示样本可能并不能够很好的迁移到别的问题当中去，换而言之，就是解决问题的流程迁移能力不足，即泛化能力不够。而这种泛化能力不足则会导致“新的问题”无法使用“老的模板”进行解决。

所以一个思想就是：让大模型自己找到解决当前问题的思维链。谷歌大脑基于这个思路开发了一种全新的提示流程，即先通过提示过程让模型找到解决该问题必须要分步解决哪几个问题，然后再通过依次解决这些问题来解决最原始的问题。

整个提示过程会分为两个阶段进行：

第一个阶段是自上而下的分解问题（Decompose Question into subquestion）；

第二个阶段是自下而上的依次解决问题（Sequentially Solve Subquestion），整个依次回答问题的过程，其实就可以看成是CoT的过程，只不过LtM会要求模型根据每个不同的问题，单独生成解决问题的链路，从而能够更加精准的解决复杂推理问题。 而整个过程问题的由少变多，则是LEAST-TO-MOST一词的来源。

具体的原理分析，大家可以自行查阅资料。

理论上整个过程会有三次调用大模型的过程，问答流程如下：

按照这种方式尝试一下：

Q：“艾米需要4分钟能爬到滑梯顶部，然后需要花费1分钟滑下来，现在水滑梯将在15分钟后关闭，请问在关闭之前她能滑多少次？”\ 
A：为了解决“在关闭之前她能滑多少次？”这个问题，首先需要解决的问题是

通过提示模板“To solve __, we need ti first solve:”来引导模型创建子问题

模型的推理结果如下：

LtM提示过程能够非常好的解决这个推理问题。并且，在实际测试过程中，模型不仅能够拆解任务，而且还能够自动根据拆解的子问题答案回答原始问题，最终做到在一个提示语句中对原始问题进行准确回答。

‘为了解决“”这个问题，我们首先要解决的问题是’也是经过验证的、最为恰当、同时也最能够得到准确回答的提示词模板，建议经常使用，并验证其功能。

总结以致用

我们梳理和了解了ChatGPT在不擅长的领域，一些提示方法。

这些深度的内容希望能在接下来帮助我们理解和掌握更加进阶的提示工程技巧，以便在大模型开发中实现更高效的应用和优化。

One-shot & Few-shot提示学习法

只需要将一些类似的问题的问题+答案作为prompt的一部分进行输入即可

Zero-shot-CoT提示方法

在提示词尾部追加一句“Let’s think step by step”，即可大幅提高模型推理能力。

如果切换到中文语境下，对指令“Let’s think step by step”进行中文翻译，做了大量的测试后，得出结论： “请一步步进行推理并得出结论”要远远好于“请让我们一步步进行思考”等类似的提示词语句

Few-shot-CoT提示方法

过编写思维链样本作为提示词，让模型学会思维链的推导方式，从而更好的完成推导任务

LEAST-TO-MOST PROMPTING（LtM提示法）

通过提示模板“To solve __, we need ti first solve:”来引导模型创建子问题

‘为了解决“”这个问题，我们首先要解决的问题是’也是经过验证的、最为恰当、同时也最能够得到准确回答的提示词模板，建议经常使用，并验证其功能。

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓