LLM超参数temperature，top-p使用

已于 2024-05-09 11:19:14 修改
阅读量3k 收藏 7
点赞数 3
分类专栏： LLM工具技巧 文章标签： 人工智能
于 2024-05-09 11:13:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30921029/article/details/138604912
版权

temperature

temperature用于调整模型softmax输出层的概率的平滑度，温度越高，概率分布越平滑；温度越低，概率分布越尖锐

所以较低的温度代表了确定性，适用于需要确定性答案或稳定效果的场景，如nl2sql，代码生成等；

较高的温度代表了随机性，适用于需要较大发挥空间的场景，如诗歌创作等。

top-p

大模型选择输出token的时候，会有一个采样策略，用于选择输出哪些token，其中两种主要的采样方法就是top-k和top-p

top-p原理：

从概率加起来之和为p的top token中采样，称作top-p；该策略动态设置tokens候选列表的大小。这种称为Nucleus Sampling 的方法将可能性之和不超过特定值的top tokens列入候选名单。下图是top-p=0.15的例子：

使用建议

  • 从上面的原理可以看到，temperature、top-p等参数用于控制生成文本的随机性，值越大随机性越大，意味着多样性和创造性，但可能产生胡言乱语。值越

最低0.47元/天 解锁文章
大模型生成策略参数Top-K、Top-P、Temperature详解
强化学习曾小健
10-21 1900
贪婪采样（Top-K=1） 会导致输出连贯但缺乏创意，就像总是点菜单上最受欢迎的菜一样。随机采样最大限度地激发了创造力，但输出缺乏连贯性，就像完全随机地从菜单中选取菜品一样。技术如 Top-K、Top-P、Temperature 可以用来控制连贯性和创造性之间的权衡目标是根据具体用例调整这些参数，以在连贯性（遵循常规菜品）和创造性（偶尔点一些新奇或出乎意料的菜品）之间取得理想的平衡。
LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature
强化学习曾小健
06-21 6271
上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~top_ptop_k。
大模型中的temperature、top_p和top_k
自闭啦~~
03-20 891
在大语言模型中，（核采样）和是控制生成文本多样性和随机性的关键参数。
关于LLM的TOP-p、top_K、temperature
2301_77727994的博客
02-27 1166
在使用开源的大语言模型或者调用大语言模型API的时候会遇到temperature、top_p、top_k等参数，对于不了解的LLM的原理的人，可能一头雾水，不知道如何设置。
【llm模型-参数解释】-temperature（基于GPT4的返回理解）
hao3011432091的博客
03-15 3609
较低的温度使得模型更加保守，倾向于生成大家都能想到的、平滑流畅的内容。这种调整让模型在生成文本时更愿意冒险，尝试新颖或不常见的词汇组合，从而增加文本的多样性和创新性，但同时也可能降低文本的连贯性和合理性。温度 < 1：让概率分布更加尖锐，增加高概率事件的概率，同时降低低概率事件的概率。这会使模型在生成文本时倾向于选择更确定、更常见的词汇，从而生成的文本看起来更加流畅和合理，但可能牺牲一些创意和多样性。相反，如果游戏的"温度"调得高，那就意味着你在游戏中愿意大胆猜测，即便是一些看起来不太可能的词也敢于尝试。
[LLM]大语言模型文本生成—解码策略(Top-k & Top-p & Temperature)
摩登都市天空---专栏
03-18 6955
在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。在自然语言任务中，我们通常使用一个预训练的大模型（比如GPT）来根据给定的输入文本（比如一个开头或一个问题）生成输出文本（比如一个答案或一个结尾）。为了生成输出文本，我们需要让模型逐个预测每个 token ，直到达到一个终止条件（如一个标点符号或一个最大长度）。在每一步，模型会给出一个概率分布，表示它对下一个单词的预测。
大模型中常见的名词：token、temperature、top-p、top-k
hahaha_1112的博客
08-19 1598
Token是文本处理的基本单位。控制生成文本的随机性和多样性。Top-p和Top-k是两种常见的采样方法，用于控制生成模型的输出，前者基于累积概率，后者基于固定的候选数量。
『大模型笔记』LLM秘密：温度、Top-K和Top-P抽样技术解析！
AI新视界
07-19 993
总结一下，使用温度、Top-K和Top-P技术的随机采样为大语言模型生成输出提供了不同的选择。在视频的最后部分，我将讨论每种技术的优缺点，以便您更好地了解何时使用每种方法以及可能的限制。温度参数的优点包括增加模型的创造力，较高温度引入更多随机性，促进创造性和多样性输出，还可以防止模型变得过于确定性。然而，缺点是过高温度可能导致输出不连贯，因为模型更可能选择不太可能的单词，增加随机性可能导致文本缺乏上下文或意义。
大模型的超参数Top P是什么 ？有什么用？
最新发布
kcarly的专栏
04-24 671
Top-P（又称核心采样或累积概率阈值采样）是一种控制大语言模型（LLM）输出随机性的超参数，其核心在于动态调整候选词的选择范围。具体而言，Top-P通过设定一个累积概率阈值（范围0.0-1.0），筛选出概率从高到低排列的候选词，直到这些词的累积概率之和达到或超过阈值，最终仅从该子集中随机抽取下一个词。工作流程概率计算：模型预测所有候选词的概率分布。排序与累积：将候选词按概率降序排列，并累加概率值。阈值截断：当累积概率首次超过设定的Top-P值时停止，保留当前子集。随机抽样。
大模型参数：temperature和top_p
ZJQ的博客
11-09 352
值会使生成文本更加保守和精准，但可能缺乏多样性和创造性。因此，在选择这些参数时，需要考虑到应用场景和用户需求。值会增加生成文本的多样性和随机性，但也可能导致生成不连贯或错误的文本。：指定生成文本的多样性。与温度类似，但控制方式略有不同。通常需要根据具体需求进行权衡和调整。是在生成式模型中常用的两个参数，它们用于。，但也可以设置为更高的值以增加随机性。，而较低的温度则会更加保守和精准。：控制生成文本的随机性。相反，较低的温度和较低的。
如何理解和使用LLM 的Temperature参数
zg_hover的专栏
03-10 5121
如何理解和使用LLM 的Temperature参数
Cohere 的 temperature、top-p、top-k、frequency_penalty、presence_penalty和likelihood参数
engchina的专栏
04-27 1646
Cohere 的 temperature、top-p、top-k、frequency_penalty、presence_penalty和likelihood参数
大模型（LLM）解码：从Greedy Search到Top-P
Mike0010的博客
05-02 2564
LLM意为大型语言模型。ChatGPT就是一种LLM，作为一种人工智能技术，通过使用深度学习算法来处理和生成自然语言文本，这些模型通常需要大量的数据来训练，以便能够理解和生成人类语言。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2627
TensorFlow相关组件的安装
大模型的temperature参数和top_p参数有什么用？
hanmo22357的博客
11-23 1617
详细介绍了大模型中常用的temperature参数和top_p参数的作用，以及如何进行设置
ChatGPT中 top_p 和 temperature 的作用机制
weixin_43815222的博客
06-30 8837
可以看到，当 temperature 更大时，模型的选择更加随机（每个 token 的概率更加接近）， 给予原本低概率的 token 更大的选择机会，从而产生更多样化和创意的输出。相反， temperature 更小使模型的选择更加确定，给予原本高概率的 token 更大的选择机 会，从而产生更集中和一致的输出。考虑 a$，他的概率是 0.25 ，加上前面的所有概率得到 0.75。时，模型在每次选择 token时只选择概率最大的那一个，于是我们每次询 问 (同样的prompt) 都会得到完全相同的回答。
NLP / LLMs中的Temperature 是什么?
数据派THU
03-25 4276
来源：DeepHub IMBA 本文约1400字，建议阅读5分钟 ChatGPT,GPT-3, GPT-3.5, GPT-4, LLaMA, Bard等大型语言模型的一个重要的超参数。大型语言模型能够根据给定的上下文或提示生成新文本，由于神经网络等深度学习技术的进步，这些模型越来越受欢迎。可用于控制生成语言模型行为的关键参数之一是Temperature 参数。在本文中，我们将讨论语言生成模型中T...
instruct LLM
01-07
### 如何指导大型语言模型（LLM）以获得最佳性能和使用 为了使大型语言模型（LLM）发挥最优性能并有效利用其功能，需遵循一系列策略和技术要点。 #### 设定清晰的任务指令 确保向LLM提供具体而明确的指示至关重要。模糊不清或含糊的任务描述可能导致不准确的结果。例如，在请求生成特定类型的文本时，应指明所需的风格、长度和其他任何相关参数[^1]。 #### 控制输出质量 采用核心抽样方法可以控制生成文本的质量。通过设置`p=0.9`以及调整温度参数至`0.7`左右，可以在保持创造力的同时减少不合理响应的概率。这种方法有助于平衡多样性和连贯性之间的关系[^3]。 #### 调整超参数配置 对于不同应用场景下的需求差异，合理调节诸如学习率、批次大小等训练过程中的超参数同样重要。这些因素直接影响到最终产出的效果及效率。然而具体的优化方案取决于所使用的框架及其特性[^2]。 #### 利用预处理数据集 当涉及到微调已有模型或是构建新的专用版本时，准备高质量的数据集必不可少。这不仅涉及收集足够的样本量，还包括清洗噪声、标注类别等工作，从而提高针对性任务上的表现水平。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "your_model_path" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) input_text = "指导大型语言模型的最佳实践包括:" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs, do_sample=True, max_length=50, top_p=0.9, temperature=0.7) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值