基本概念
Prompt
一种任务专属的输入模板,一种任务(例如:分类,聚类等)对应一种 Prompt。每一次访问大模型的输入为一个 Prompt,而大模型的返回结果被称为 Completion。
Temprature
控制 LLM 生成结果的随机性与创造性的参数,一般取值在 0~1 之间。
取值较低接近0时,预测的随机性会较低,产生更保守、可预测的文本,不太可能生成意想不到或不寻常的词。当取值较高接近 1 时,预测的随机性会较高,所有词被选择的可能性更大,会产生更有创意、多样化的文本,更有可能生成不寻常或意想不到的词。