大模型中temperature、top-p等核心参数解析

01 背景信息 Background
在选择推理参数之前，我们需要了解一些背景信息。让我们来谈谈这些模型是如何选择要生成哪些单词的。

要阅读一份文档，语言模型会将其分解为一系列的tokens。token只是模型能够轻松理解的一小段文本：可以是一个单词（word）、一个音节（syllable）或一个字符（character）。例如，“Megaputer Intelligence Inc.” 可以被分解为五个token：[“Mega”, “puter”, “Intelligence”, “Inc”, “.”]。

我们熟悉的大多数语言模型都是通过重复生成token序列（sequence）中的下一个token来运作的。每次模型想要生成另一个token时，会重新阅读整个token序列并预测接下来应该出现的token。 这种策略被称为自回归生成（autoregressive generation）。

token的自回归生成。

GIF由Echo Lu[1]制作，其中包含了 Annie Surla[2]的一张图片（来自 NVIDIA[3]，经过修改）。

本次修改已获得版权所有者的许可。

这解释了为什么ChatGPT会逐个地输出单词：它在生成内容时就以逐词输出的方式。

如果要选择序列中的下一个token，语言模型首先要为其词汇表中的每个token分配一个可能性分数（likelihood score）。经过模型的评估，如果某个token能够让文本得到合理的延续࿰