大模型Llama3常用的参数详解

大模型Llama3常用的参数详解，text-generation-webui参数

• max_new_tokens
  要生成的最大令牌数。不要将其设置得过高：它是通过公式（prompt_length）=min（truncation_length-max_new_tokens，prompt_lngth）在截断计算中使用的，因此如果设置得过高，您的提示将被截断。
• temperature
  控制输出随机性的主要因素。0=确定性（仅使用最可能的令牌）。更高的值=更多的随机性。
• top_p
  如果未设置为1，请选择概率加起来小于此数字的令牌。值越高=可能的随机结果范围越大。
• min_p
  概率小于（min_p）*（最有可能的令牌的概率）的令牌将被丢弃。这与top_a相同，但没有将概率平方。
• top_k
  类似于top_p，但只选择最可能的top_k标记。值越高=可能的随机结果范围越大。
• repetition_ppenalty
  重复先前令牌的惩罚因子。1表示没有惩罚，值越高=重复次数越少，值越低=重复次数越多。
• presence_penalty
  类似于repetition_penality，但对原始令牌分数进行了加性偏移，而不是乘法因子。它可能会产生更好的结果。0表示没有惩罚，值越高=重复次数越少，值越低=重复次数越多。以前称为“附加请求处罚”。
• frequency_penalty
  重复惩罚，根据令牌在上下文中出现的次数进行缩放。小心这个；代币的惩罚程度没有限制。
• repetition_ppenalty_range
  考虑重复惩罚的最新令牌数量。0将使用所有令牌。
• typical_p
  如果未设置为1，则仅选择在给定先前文本的情况下比随机标记更有可能出现的标记。
• tfs
  尝试检测分布中的低概率令牌尾部，并删除这些令牌。请参阅此博客文章了解详细信息。越接近0，丢弃的令牌越多。
• top_a
  概率小于（top_a）*（最可能令牌的概率）^2的令牌将被丢弃。
• epsilon_cutoff
  单位为1e-4；合理的值是3。这设置了一个概率下限，低于该下限的令牌将被排除在采样之外。
• eta_cutoff
  单位为1e-4；合理的值是3。特殊Eta采样技术的主要参数。请参阅本文以获取描述。
• guidance_scale
  无分类器制导（CFG）的主要参数。本文认为1.5是一个很好的值。它可以与否定提示结合使用，也可以不结合使用。
• Negative prompt
  仅在guidance_scale！=时使用1.它对指示模型和自定义系统消息最有用。您可以在此字段中放置完整的提示，并将系统消息替换为模型的默认消息（如“您是Llama，一个乐于助人的助手…”），以使模型更加关注您的自定义系统消息。
• penalty_alpha
  通过将其设置为大于零并取消选中“do_sample”来启用对比搜索。它应该与低值top_k一起使用，例如top_k=4。
• mirostat_mode
  激活mirostat采样技术。它旨在控制采样过程中的困惑。看报纸。
• mirostat_tau
  不知道，详见论文。根据预设竞技场，8是一个很好的值。
• mirostat_ta
  不知道，详情见论文。根据预设竞技场，0.1是一个很好的值。
• dynamic_temperature
  激活动态温度。这将温度修改为“dynatem_low”（最小值）和“dynatep_high”（最大值）之间的范围，并采用基于熵的缩放。曲线的陡度由“dynatem_exporter”控制。
• smoothing_factor
  激活二次采样。当0<smoothing_factor<1时，logits分布变得更平坦。当smoothing_factor>1时，它会变得更加峰值。
• temperature_last
  使温度成为最后一个采样器，而不是第一个采样器。通过这种方式，您可以使用min_p等采样器删除低概率令牌，然后使用高温使模型具有创造性，而不会失去一致性。注意：此参数优先于“采样器优先级”。这意味着温度/动态温度/二次采样将从任何地方删除，并移动到堆栈的末尾。
• do_sample
  未选中时，采样完全禁用，而是使用贪婪解码（总是选择最可能的令牌）。
  种子：将Pytorch种子设置为此数字。请注意，一些加载器不使用Pytorch（特别是llama.cpp），而另一些加载器则不是确定性的（ExLlamaV2）。对于这些装载机，种子没有影响。
• encoder_repeation_ppenalty
  也称为“幻觉过滤器”。用于惩罚不在前一文本中的标记。更高的值=更有可能留在上下文中，较低的值=更可能出现分歧。
• no_repet_ngram_size
  如果未设置为0，则指定完全阻止重复的令牌集的长度。值越高=阻止较大的短语，值越低=阻止单词或字母重复。在大多数情况下，只有0或高值是个好主意。