揭秘大语言模型的“调味秘诀”：Temperature、Top-k 和 Top-p

你是否好奇过，为什么有时候 AI 的回答特别“稳”，有时候又充满创意？这背后的秘密，就藏在三个看似神秘的参数中：Temperature、Top-k 和 Top-p。让我们一起来揭开它们的面纱！

Temperature：AI 的“情绪温度计”

想象一下，你在调节 AI 的“情绪温度”。

• 低温（T < 1）：AI 变得“冷静”稳重，总是选择最安全、最可能的答案。就像一个严谨的学者，回答总是一板一眼。

• 高温（T > 1）：AI 开始“发烧”，变得活跃、随性。它可能会说出一些出人意料的话，就像一个喝醉的诗人，灵感迸发但不太靠谱。

有趣的是，这个过程其实模仿了社会中的“马太效应”。低温时，“强者愈强”，高概率的选项被进一步强化；高温时，则给了“弱者”一线机会。

$$P(w_i)=\frac{\exp (\frac{\log (p_i)}{T})}{{\sum }_j\exp (\frac{\log (p_j)}{T})}$$

Top-k 和 Top-p：AI 的“脑洞控制器”

接下来是两个有趣的“搭档”：Top-k 和 Top-p。它们就像是 AI 思维的“过滤网”。

• Top-k：想象 AI 脑中有一个“点子排行榜”。Top-k 就是说：“只考虑排名前 (k) 的想法。”简单粗暴，但有效。

$$P(w_i)=\{\begin{array}{ll}\frac{p_i}{{\sum }_{j\in \text{top-k}}{p}_j}& \text{if }{w}_i\in \text{top-k}\\ 0& \text{otherwise}\end{array}$$

• Top-p（又叫 Nucleus Sampling）：这个更聪明。它会说：“把最有可能的想法加起来，只要超过 (p) 的可能性，就在这些里面选。”灵活又智能。

$$\sum _{i\in S}{p}_i\ge p$$

$$P(w_i)=\{\begin{array}{ll}\frac{p_i}{{\sum }_{j\in S}{p}_j}& \text{if }{w}_i\in S\\ 0& \text{otherwise}\end{array}$$

这两个参数就是为了解决 AI 的“长尾思维”问题。没有它们，AI 可能会突然蹦出一些离谱的想法。但如果设置得太严格，AI 又会变得死板无趣。

调味指南：如何调出“最佳口感”

那么，如何调出一个既不失智慧又富有创意的 AI 呢？这里有一份“秘方”：

• Temperature: 0.7（7分热度，既不冷淡又不狂热）
• Top-k: 40（给 AI 一个不小的“选择空间”）
• Top-p: 0.9（允许 90% 的可能性，既保证合理性又不失创意）

记住，这只是一个起点。根据你的需求，可以随时微调。想要更稳定的输出？降低 temperature。需要更有创意？也许可以提高 Top-k 的值。