科普：大模型使用中的temperature 与 top-k及其它

在大语言模型（如通过 Ollama 运行的 llama2 模型）中，temperature 和 top-k 是两个用于控制文本生成过程的重要参数，它们在功能上相互独立，但又共同影响着模型生成文本的随机性和多样性。

一、各自的作用

• temperature：该参数主要用于控制生成文本的随机性。它会对模型预测的词概率分布进行调整。具体来说，temperature 值越高，概率分布就越平滑，各个词被选中的概率就越接近，生成文本的随机性也就越大，可能会产生更多新颖、出人意料的内容；反之，temperature 值越低，概率分布越陡峭，模型越倾向于选择概率最高的词，生成的文本会更加确定和保守。例如，当 temperature 接近 0 时，模型几乎总是选择概率最高的词，生成的文本会比较固定。
• top-k：top-k 采样策略会限制模型在生成下一个词时的候选词范围。模型在每一步生成文本时，只会考虑概率最高的 k 个词作为候选，而忽略其他词。通过设置 top-k，可以减少生成出不相关或低质量词汇的可能性，让生成的文本更加符合语义和逻辑。例如，top-k 40 表示模型只从概率最高的 40 个词中选择下一个词。

二、两者关系

• 相互配合影响随机性