大模型Llama3常用的参数详解,text-generation-webui参数
- max_new_tokens
要生成的最大令牌数。不要将其设置得过高:它是通过公式(prompt_length)=min(truncation_length-max_new_tokens,prompt_lngth)在截断计算中使用的,因此如果设置得过高,您的提示将被截断。 - temperature
控制输出随机性的主要因素。0=确定性(仅使用最可能的令牌)。更高的值=更多的随机性。 - top_p
如果未设置为1,请选择概率加起来小于此数字的令牌。值越高=可能的随机结果范围越大。 - min_p
概率小于(min_p)*(最有可能的令牌的概率)的令牌将被丢弃。这与top_a相同,但没有将概率平方。 - top_k
类似于top_p,但只选择最可能的top_k标记。值越高=可能的随机结果范围越大。 - repetition_ppenalty
重复先前令牌的惩罚因子。1表示没有惩罚,值越高=重复次数越少,值越低=重复次数越多。 - presence_penalty
类似于repetition_penality,但对原始令牌分数进行了加性偏移,而不是乘法因子。它可能会产生更好的结果。0表示没有惩罚,值越高=重复次数越少,值越低=重复次数越多。以前称为“附加请求处罚”。 - frequency_penalty
重复惩罚,根据令牌在上下文中出现的次数进行缩放。小心这个;代币的惩罚程度没有限制。 - repetition_ppenalty_range
考虑重复惩罚的最新令牌数量。0将使用所有令牌。 - typical_p
如果未设置为1,则仅选择在给定先前文本的情况下比随机标记更有可能出现的标记。 - tfs
尝试检测分布中的低概率令牌尾部,并删除这些令牌。请参阅此博客文章了解详细信息。越接近0,丢弃的令牌越多。 - top_a
概率小于(top_a)*(最可能令牌的概率)^2的令牌将被丢弃。 - epsilon_cutoff
单位为1e-4;合理的值是3。这设置了一个概率下限,低于该下限的令牌将被排除在采样之外。 - eta_cutoff
单位为1e-4;合理的值是3。特殊Eta采样技术的主要参数。请参阅本文以获取描述。 - guidance_scale
无分类器制导(CFG)的主要参数。本文认为1.5是一个很好的值。它可以与否定提示结合使用,也可以不结合使用。 - Negative prompt
仅在guidance_scale!=时使用1.它对指示模型和自定义系统消息最有用。您可以在此字段中放置完整的提示,并将系统消息替换为模型的默认消息(如“您是Llama,一个乐于助人的助手…”),以使模型更加关注您的自定义系统消息。 - penalty_alpha
通过将其设置为大于零并取消选中“do_sample”来启用对比搜索。它应该与低值top_k一起使用,例如top_k=4。 - mirostat_mode
激活mirostat采样技术。它旨在控制采样过程中的困惑。看报纸。 - mirostat_tau
不知道,详见论文。根据预设竞技场,8是一个很好的值。 - mirostat_ta
不知道,详情见论文。根据预设竞技场,0.1是一个很好的值。 - dynamic_temperature
激活动态温度。这将温度修改为“dynatem_low”(最小值)和“dynatep_high”(最大值)之间的范围,并采用基于熵的缩放。曲线的陡度由“dynatem_exporter”控制。 - smoothing_factor
激活二次采样。当0<smoothing_factor<1时,logits分布变得更平坦。当smoothing_factor>1时,它会变得更加峰值。 - temperature_last
使温度成为最后一个采样器,而不是第一个采样器。通过这种方式,您可以使用min_p等采样器删除低概率令牌,然后使用高温使模型具有创造性,而不会失去一致性。注意:此参数优先于“采样器优先级”。这意味着温度/动态温度/二次采样将从任何地方删除,并移动到堆栈的末尾。 - do_sample
未选中时,采样完全禁用,而是使用贪婪解码(总是选择最可能的令牌)。
种子:将Pytorch种子设置为此数字。请注意,一些加载器不使用Pytorch(特别是llama.cpp),而另一些加载器则不是确定性的(ExLlamaV2)。对于这些装载机,种子没有影响。 - encoder_repeation_ppenalty
也称为“幻觉过滤器”。用于惩罚不在前一文本中的标记。更高的值=更有可能留在上下文中,较低的值=更可能出现分歧。 - no_repet_ngram_size
如果未设置为0,则指定完全阻止重复的令牌集的长度。值越高=阻止较大的短语,值越低=阻止单词或字母重复。在大多数情况下,只有0或高值是个好主意。