大模型提示工程之【后退提示 step back prompting】

什么是后退提示

后退提示法指导 LLM 首先从给定的细节中提取高级概念和原则，然后使用这些概念引导其推理得到正确的解决方案。

这种提示法基于以下逻辑：“在关键决策中，人类发现抽象很有帮助，因为它提供了对环境的更广阔的视野”。

工作原理

后退提示包括两个步骤

第一步：抽取提示中的关键概念信息

让 LLM 退后一步，从具体示例中得出概念和第一原理等高级抽象。此步骤使用以下提示：

1. 这里涉及的关键原则是什么

2. 在这种情况下相关的规则是什么

第二步：根据高级概念和基本原理得出解决方案。

LLM 使用从“后退”问题中获得的抽象知识来指导其推理过程。这使 LLM 能够忽略不相关的细节并专注于任务的核心方面。

如上图所示，对于“如果温度增加 2 倍，体积增加 8 倍，理想气体的压强 P 会怎样？ ”这道物理问题，如果直接生成答案，LLM 很容易偏离理想气体定律的第一原理，与其直接回答，不如退一步提出一个问题，这样有助于模型准确生成解决方案。

后退提示优势

• 在需要分析、推理和知识应用的任务上表现更佳。
• 更深入的理解有助于忽略不相关的细节并专注于核心方面，从而降低错误率。

后退提示缺陷

• 制定有效的提示需要精确，以避免模糊或偏见。
• 额外的抽象步骤增加了一些处理开销，这对于有限的资源来说是一个潜在的问题。

总而言之，采用两步法的后退提示是一种很有前途的增强大模型推理能力的技术。同时在就我在真实场景的使用来说，step back prompting 对于在需要很强的推理能力上，尤其是数学等问题能够取得很好的效果