一、基本概念
1.1、Prompt
大模型的所有输入,即,我们每一次访问大模型的输入为一个 Prompt, 而大模型给我们的返回结果则被称为 Completion。
1.2、Temperature
LLM 生成是具有随机性的,在模型的顶层通过选取不同预测概率的预测结果来生成最后的结果,而Temperature 参数就是用来控制 LLM 生成结果的随机性与创造性。
Temperature 一般取值在 0~1 之间,当取值较低接近0时,预测的随机性小,更为保守,严谨,稳定。当取值较高接近1时,预测的随机性会较高,预测结果更创意,多样化。
不同问题的应用场景,设置不同的Temperature。例如:
- 个人知识库项目,一般将 Temperature 设置为0,从而保证知识库内容的稳定使用,规避错误内容;
- 产品智能客服、科研论文写作等场景中,同样更需要稳定性而不是创造性;
- 个性化 AI、创意营销文案生成等场景中,更需要创意性,从而更倾向于将 Temperature 设置为较高的值。
1.3、System Prompt
使用 ChatGPT API 时,可以设置两种 Prompt:一种是 System Prompt,该种 Prompt 内容会在整个会话过程中持久地影响模型的回复,且相比于普通 Prompt 具有更高的重要性;另一种是 User Prompt,这更偏向于普通的 Prompt,即需要模型做出回复的输入。
System Prompt 一般在一个会话中仅有一个。