Prompt Engineering Notes

LLM output configuration

Output length

仅仅起到截断作用，不会让模型的输出更简洁。

Sampling controls

LLM并不预测下一个token，而是计算下一个token可能是什么的概率。控制这种采样的参数主要有下面几种。

Temperature

temperature控制token选择的随机度。当其设为0时，永远选择下一个概率最大的token；随着它的升高，所有token更趋向于有相等的概率被选择。计算原理：具有温度系数（Temperature）的Softmax函数

Top-K & Top-P

Top-K采样只保留概率最大的K个token；而Top-P采样选择一个最小的累计概率≥P的token集合。和温度相比，Top-K和Top-P采样更加硬性地筛选掉那些概率较小的token。

联合使用

温度、Top-K和Top-P是可以一起使用的。有几个极端情况：

1. 温度设为0，Top-K和Top-P都失去意义，使用贪心策略选择概率最大的token；而温度设的很高（超过1，甚至两位数）时，温度就失去意义，token的概率分布趋近均匀分布
2. Top-K设为1（或Top-P接近0），温度和Top-P（Top-K）都失去意义，同样会选择概率最大的token；而Top-K设为很高（Top-P设为1）时，所有的token会被考虑在内，Top-K（Top-P）会失去意义
   给与模型更大的自由度，生成的内容之间将会有更小的相关性。

Prompting techniques

General prompting / zero shot

zero-shot提示词指的是提示词中没有示例，是最简单的提示词。

One-shot & few-shot

one-shot和few-shot分别指提示词中包含一个或多个示例。示例中包含edge case可以增强输出对多样输入的鲁棒性。

System, contextual and role prompting

	System Prompting	Contextual Prompting	Role Prompting
定义	提供全局指令或规则框架	提供当前对话或任务的具体细节或背景	为AI分配特定角色或身份
优势	定义了模型应该做什么的全局观	帮助模型理解询问背后的细微差异	帮助模型生成与角色知识行为一致的响应
主要目的	初始化AI行为准则，如让模型生成JSON格式的输出；增加响应的安全性	提供直接具体的信息来动态引导回应	为模型增加特异性和个性

Step-back prompting

Step-back prompting指的是首先提示LLM考虑与当前具体任务相关的通用问题，然后将考虑的答案放在具体任务的输入中，从而使LLM激活背景知识和推理过程。原论文解读：后退提示Step-Back Prompting：AI应对复杂问题的新策略