让大模型不乱输出的参数

大模型参数介绍（持续更新中…）

1. temperature

• 定义：temperature 是控制生成文本多样性和创造性的重要参数。它决定了模型在生成每个单词时的“温度”。
• 作用：温度的设置影响到概率分布的平滑程度。低温度值（如接近0）会使得生成的文本更具确定性，更倾向于选择概率最高的单词。高温度值（如接近1或更高）则会增加随机性，使模型更有可能选择概率较低的单词，从而产生更多样化和创造性的结果。
• 值的范围：通常在 0 到 1 之间。 temperature=0.85 表示较低的温度，会使模型生成的文本更加集中，但仍保留一定的创造性。

2. top_p (nucleus sampling)

• 定义：top_p 是用于控制生成文本多样性的参数之一，也称为 nucleus sampling。它决定了模型在生成下一个单词时考虑的单词的概率总和。
• 作用：top_p 通过限制生成的单词集合，只考虑那些累积概率不超过 top_p 的词汇，从而控制生成内容的多样性。例如，top_p=0.8 表示只考虑那些前 80% 累积概率的单词，从而在保证生成质量的同时增加多样性。
• 值的范围：通常在 0 到 1 之间。较低的 top_p 值会使生成文本更具确定性，较高的值会增加生成文本的多样性。

3. repetition_penalty

• 定义：repetition_penalty 是控制生成文本中重复内容的参数。它用于惩罚重复生成相同单词或短语的情况。
• 作用：这个参数可以减少文本中重复的内容，使生成的文本更加流畅和自然。repetition_penalty=1.05 表示对重复的单词或短语施加了轻微的惩罚，从而减少了重复的概率。值大于1会增加对重复的惩罚，值小于1会减少惩罚。
• 值的范围：通常大于或等于1。值越高，重复内容的惩罚越严重，从而生成的文本重复性越低。