【大模型】提示工程基础学习

1. 零样本提示

不向模型提供任何示例，如：

以下内容是什么情感：中性/积极/消极
今天天气不错

2. 少样本提示

提供少量示例，如：

我喜欢苹果：积极
我讨厌下雨：消极
以下内容是什么情感：中性/积极/消极
今天天气不错

3. 链式思考提示（CoT）

CoT主要有两种范式：

• 手动添加一些实例推理过程
• “请逐步思考”

通过中间推理过程进行提示， 如：

这组数中的奇数加起来是偶数：4、8、9、15、12、2、1。
A：将所有奇数相加（9、15、1）得到25。答案为False。

这组数中的奇数加起来是偶数：17、10、19、4、8、12、24。
A：将所有奇数相加（17、19）得到36。答案为True。

这组数中的奇数加起来是偶数：16、11、14、4、8、13、24。
A：将所有奇数相加（11、13）得到24。答案为True。

这组数中的奇数加起来是偶数：15、32、5、13、82、7、1。
A：

特别的，零样本CoT，如：

这组数中的奇数加起来是偶数：4、8、9、15、12、2、1。请逐步思考。

手动添加的方式效果更好，但零样本的CoT更方便。zhang et al.提出了auto-CoT，大概思路：

1. 将给定的所有问题按照sentence-bert生成的向量聚类
2. 对于每一个簇，按照升序列表依次遍历每一个问题，对于当前问题，使用Zero-shot生成CoT，如果CoT满足token不大于60个且不超过五个步骤，则将此问题和CoT作为此簇中的每个问题的样例CoT，拼接在这类问题的前面。

4. 自我一致性

通过少样本CoT采样多个推理过程，使用生成结果最一致的答案。

5. 生成知识提示

通过构建特定的提示语句，引导模型从已有的知识库中提取、整合并生成新的、有用的知识内容。

• 模型本身缺乏解决问题的背景知识：直接给模型相关的知识
• 模型想不到要用什么背景知识：给一些示例让模型去生成对应问题的背景知识，再把生成得到的背景知识添加到context这进行提问

6. 链式提示

• 任务分解为子任务
• 根据子任务的提示词得到一系列结果
• 将得到的结果作为新的提示词的一部分
  比如如果想要很好的阅读一篇文献，可以先将阅读引文作为子任务

7. 思维树（ToT）

tot由多个子模型构成，每个子模型基于不同的关键词进行进一步思考，主要步骤：

• 举一反三，列举多路径通罗马
• 分布评估，集成方案，选择最优
• 启发性地评估状态，前后枚举追溯，全局最优
• 集成开搜，确定路径

8. 检索增强生成（RAG）

把一个信息检索组件和文本生成模型结合在一起。RAG 会接受输入并检索出一组相关/支撑的文档，并给出文档的来源（例如维基百科）。这些文档作为上下文和输入的原始提示词组合，送给文本生成器得到最终的输出。

9. active prompt

该算法要求大语言模型根据示例生成一组候选指令集，然后再评估其中哪些更有效。即自动地为通过输出示例指定的任务生成指令：通过直接推理或基于语义相似性的递归过程生成几个候选指令，用目标模型执行它们，并根据计算出的评估分数选择最合适的指令。

10. 自我反思（reflexion）

11. 多模态思维链提示方法

将文本和视觉融入到一个两阶段框架中。第一步涉及基于多模态信息的理性生成。接下来是第二阶段的答案推断，它利用生成的理性信息。