LLM运行web_demo后的参数详解

最新推荐文章于 2024-10-03 09:02:12 发布

郭老妖

最新推荐文章于 2024-10-03 09:02:12 发布

阅读量450

点赞数 10

文章标签： python

本文链接：https://blog.csdn.net/weixin_46841271/article/details/133861008

版权

LLM运行web_demo后的参数详解

Tempreature

Temperature 是一个超参数，可用于控制生成语言模型中生成文本的随机性和创造性。它用于调整模型的softmax输出层中预测词的概率。温度参数定义为在应用 softmax 函数之前用于调整 logits 的比例因子的倒数。

当Temperature 设置为较低的值时，预测词的概率会变尖锐，这意味着选择最有可能的词的概率更高。这会产生更保守和可预测的文本，因为模型不太可能生成意想不到或不寻常的词。另一方面，当Temperature 设置为较高值时，预测词的概率被拉平，这意味着所有词被选择的可能性更大。这会产生更有创意和多样化的文本，因为模型更有可能生成不寻常或意想不到的词。

Temperature参数通常设置为 0.1 到 1.0 之间的值，具体取决于生成文本中所需的随机性和创造性水平。温度值为 1.0 对应于标准 softmax 函数，其中预测词的概率未按比例缩放。

Temperature 参数主要与采样策略有关。在基于概率的采样过程中，Temperature 参数用于调整模型输出的多样性。具体来说，Temperature 是一个正数，用于平滑模型输出的概率分布。Temperature 参数通过以下公式应用于模型的原始概率分布：
P’(x) = P(x)^(1/T)

其中 P(x) 是模型为单词 x 分配的原始概率，P’(x) 是经过 Temperature 调整后的概率。可以看到，当 Temperature 增大时，原始概率分布会变得更加平坦，各个单词的概率相对更加接近。反之，当 Temperature 减小时，概率分布会变得更加陡峭，使得具有较高概率的单词更有可能被选中。