大模型之“提示工程”的技术分类

尽管大模型非常强大，但仍然有着自身的局限。大模型可以生成看起来非常值得信赖的内容并引用外部资源，但是，大模型本身并不能直接访问互联网也不能访问互联网的资源。偏见往往会使大模型产生某些定型的内容。当被问到一个不知道答案的问题时，大模型有时会产生“幻觉”或者产生错误的信息, 很多时候，即使是最简单的数学或常识的问题, 大模型仍然要挣扎一番。另外，通过操纵提示词，以忽略开发人员的指令并生成特定的内容。
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

大多数提示技术主要解决幻觉和解决数学/常识问题，而偏见和提示词攻击是需要单独讨论的话题。提示技术离不开提示词的编写，一些常见的规则可以帮助我们写出清晰而具体的提示词，例如：

• 准确地说出要做什么(写、总结、提取信息) ；
• 避免说什么不该做，而是说什么该做；
• 具体描述，不要说“几句话”，要说“两三句话”；
• 添加标记或分隔符以结构化提示符；
• 如果需要，请求结构化输出(JSON，HTML) ；
• 要求模型验证是否满足条件(例如: 如果你不知道答案，请说”没有相关资料“) ；
• 要求模型首先解释，然后提供答案(否则模型可能会试图证明一个不正确的答案)。

通过提示工程技术，我们可以引入更多的时间和空间以及内容的属性，有助于更好地生成提示词。那么，提示工程技术有哪些呢？我们如何更好地使用它们呢？

分类是认知的开始。现有的大多数提示技术可以分为三类:

• 单一提示技术：旨在优化一个提示的响应
• 多重提示技术：为了解决任务而多次查询模型(或模型)
• 大模型与外部工具结合的技术

1 单一提示技术

LLM 非常擅长一次性学习，但是他们仍然可能在复杂的任务中失败。单一提示技术是提示工程的基础，常见的技术手段有：

• Zero-Shot：使用自然语言指令的最简单的技术。
• One-shot：一次性学习
• Few-Shot：用正确的答案向模型演示类似的任务，提供一些关于标签空间、输入测试的分布和序列的整体格式的示例
• Chain of Thought（CoT）：思想链的提示通过中间的推理步骤使复杂的推理能力成为可能。这种技术旨在使模型对每个步骤进行迭代和推理。
• Program-Aided Language Models (PAL)：一种通过使用代码将解释扩展为自然语言来扩展思维链提示的方法，可以将LangChain中的 PALChain 作为参考实现。

2. 多重提示技术

基于不同的策略，将一个或几个提示技术组合在一起的，主要包括：

• 投票排名：应用投票来得到正确的答案，例如， 自我一致性的方法（Self-Consistency）。
• 分而治之：一组提示基于将复杂任务划分为几个提示，例如: 定向激励提示，知识生成，提示链，表链提示以及 Least-to-Most 的提示。
• 自我评估：将检查输出是否符合指令的步骤纳入框架，例如，思维树等。

2.1 投票排名

投票排名策略中的自我一致性方法基于这样的直觉: “一个复杂的推理问题通常需要多种不同的思维方式才能得到独一无二的正确答案”。它要求相同的思维链提示几次，从而产生一组不同的推理路径，然后通过应用投票选择最一致的答案.