LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature

已于 2023-06-21 16:23:35 修改
阅读量6.2k 收藏 26
点赞数 6
分类专栏： LLM大语言模型 文章标签： gpt
于 2023-06-21 15:33:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/131328778
版权
文章介绍了LLM（大型语言模型）中的关键参数temperature、top-k和top-p的作用。temperature控制输出的随机性，temperature值越大，输出越随机；top-k从最可能的k个选项中随机选择，而top-p基于累计概率动态选择。这两种采样策略与greedydecoding相比，引入了更多的随机性，避免过度依赖最高概率的单词，优化了生成文本的多样性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Top-k抽样 模型从最可能的"k"个选项中随机选择一个 如果k=10，模型将从最可能的10个单词中选择一个
Top-p抽样 模型从累计概率大于或等于“p”的最小集合中随机选择一个 如果p=0.9，选择的单词集将是概率累计到0.9的那部分
Temperature 控制生成文本随机性的参数。较高的温度值会产生更随机的输出，而较低的温度值则会使模型更倾向于选择最可能的单词 较高的温度值，如1.0，会产生更随机的输出，而较低的温度值，如0.1，会使模型更倾向于选择最可能的单词

 

前言

上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~

了解本专栏 订阅专栏 解锁全文 超级会员免费看
『大模型笔记』LLM秘密：温度、Top-K和Top-P抽样技术解析！
AI新视界
07-19 993
总结一下，使用温度、Top-K和Top-P技术的随机采样为大语言模型生成输出提供了不同的选择。在视频的最后部分，我将讨论每种技术的优缺点，以便您更好地了解何时使用每种方法以及可能的限制。温度参数的优点包括增加模型的创造力，较高温度引入更多随机性，促进创造性和多样性输出，还可以防止模型变得过于确定性。然而，缺点是过高温度可能导致输出不连贯，因为模型更可能选择不太可能的单词，增加随机性可能导致文本缺乏上下文或意义。
Top-k & Top-p, Temperature
强化学习曾小健
09-27 353
​目录收起1.挑出top token：贪心解码2.从top tokens中挑选：top-k3.从概率加起来为15%的top tokens中挑选：top-p采样时如何选择温度LikelihoodIntuitionExample。
chat-gpt笔记：参数temperature与top_p
路过君的博客
09-19 1898
温度采样参数取值介于 0 和 2 之间。较高的值（如 0.8）将使输出更加随机，而较低的值（如 0.2）将使其更加集中和确定性。我们通常建议此参数或top_p参数不要同时更改。
简单理解机器学习中top_k、top_p、temperature三个参数的作用
最新发布
weixin_45357522的博客
03-21 801
top_k: 限制候选词数量，提升文本质量。top_p: 动态调整候选词集，平衡质量与多样性，想创意高点，top_p就大点。temperature: 控制生成文本的随机性，影响文本的确定性与多样性。温度高就多样性高，确定性低。
LLM超参数temperature，top-p使用
qq_30921029的博客
05-09 3097
一般来说，prompt 越长，描述得越清楚，模型生成的输出质量就越好，置信度越高，这时可以适当调高 temperature 的值；Top-p 通常设置为较高的值（如 0.75），目的是限制可能被采样的低概率 token 的长尾。从上面的原理可以看到，temperature、top-p等参数用于控制生成文本的随机性，值越大随机性越大，意味着多样性和创造性，但可能产生胡言乱语。大模型选择输出token的时候，会有一个采样策略，用于选择输出哪些token，其中两种主要的采样方法就是top-k和top-p。
LLM推理参数（top_k，top_p, temperature, num_beams）
ZhengrongYue的博客
04-06 3055
LLM推理参数（top_k，top_p, temperature, num_beams）
学习笔记41-大语言模型参数说明（Temperature，Top p，Top k）
LZL2020LZL的博客
04-14 1万+
Temperature，Top p，Top k
具有温度系数（Temperature）的Softmax函数
Harry的博客
04-06 4968
softmax 函数是一种激活函数，通常用作神经网络最后一层的输出函数。该函数是两个以上变量的逻辑函数的推广。Softmax 将实数向量作为输入，并将其归一化为概率分布。softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。并且所有元素的总和等于1。
GPT模型
发呆的比目鱼的博客
08-06 1万+
GPT模型 Paper:https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 摘要 GPT是OpenAI在论文《Improving Language Understanding by Generative Pre-Training》中提出的生成式预训练语言模型。该模型的核心思想： ...
GPT模型调优：探索Top-k、Top-p与Temperature参数
fengbeely的博客
07-25 1892
上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~top_ptop_k。
LLM推理中的参数：beam_search、num_sequences、do_sample、temperature、top_k、top_p、repetition_penalty
smartcat2010的博客
04-16 1799
越小，采样概率拉的越开。设为0时，greedy取top-1。top_k: 每一步，只从概率最高的K个token里采样。设为0则disable该机制（无top_p的话，则所有token都参与采样）。num_sequences: generate输出几个top序列。top_p: 取值范围0~1。每一步，只从按概率从高到底排序的tokens，前面累加概率达到p的这些词，参与采样。do_sample: 设为True，则每个输出都进行采样；设为False，则每个输出都greedy取top-1。
深入了解 GPT-4 和 ChatGPT 的 API---OpenAI Playground
weixin_43961909的博客
06-24 2143
    掌握GPT-4 和 ChatGPT 的 API 的使用方法，以便有效地将它们集成到 Python 应用程序中。首先，需要了解 OpenAI Playground。这将使你在编写代码之前更好地了解模型。接着，需要学习 OpenAI Python 库。这部分内容包括登录信息和⼀个简单的 Hello World 示例。然后，需要学习创建和发送 API 请求的过程，并了解如何处理 API 响应。这将确保你知道如何解释这些 API 返回的数据。最后，还会介绍诸如安全最佳实践和成本管理等考虑因素。随着学习的深入
大模型推理常见采样策略：Top-k, Top-p, Temperature, Beam Search
热门推荐
qq_43243579的博客
02-28 2万+
大模型推理采样策略，举例通俗易懂汇总介绍
关于LLM的TOP-p、top_K、temperature
2301_77727994的博客
02-27 1160
在使用开源的大语言模型或者调用大语言模型API的时候会遇到temperature、top_p、top_k等参数，对于不了解的LLM的原理的人，可能一头雾水，不知道如何设置。
OpenAI GPT模型进行对话生成时，设置top_p，Temperature，Top k，Top-p sampling，Frequency penalty，Presence penalty
qq_15821487的博客
06-06 6835
在使用OpenAI GPT模型进行对话生成时，设置top_p参数可以控制生成下一个单词的概率分布，即从所有可能的单词中，只选择概率最高的一部分作为候选单词。例如，如果设置top_p=0.7，则模型将仅考虑概率最高的70%的单词作为候选单词。这么做可以一定程度上增加生成的多样性，避免生成过于单调或重复的回答。用于调整随机从生成模型中抽样的程度，因此每次点击“生成”时，相同的提示可能会产生不同的输出。Top p 通常设置为较高的值（如 0.75），目的是限制可能被采样的低概率 token 的长度。
【chatGPT】关于参数的理解（来自chatgpt）
keira674的博客
01-26 1067
*权重（Weights）：**权重可以类比为神经元之间的连接强度。权重越大，则两个神经元之间的连接越强，信号传递也就越强。**稀疏性：**稀疏性可以类比为模型的紧凑程度。稀疏性越高，则模型越紧凑，所需的计算量和存储空间也就越少。**非线性：**非线性可以类比为模型的行为复杂性。非线性越高，则模型的行为越复杂，能够处理的任务也就越多。**参数数量：**参数数量可以类比为模型的复杂程度。参数数量越多，则模型越复杂，能够处理的任务也就越多。**偏差（Biases）：**偏差可以类比为神经元的激活阈值。
【AIGC】大语言模型的采样策略--temperature、top-k、top-p等
Code_LT的博客
12-08 1366
总结如下：LLM解码-采样策略串讲 LLM大模型解码生成方式总结 LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature
GPT详解
十一城
11-16 2172
Improving Language Understanding by Generative Pre-Training 生成式的预训练 基于 Fine-tuning 的模式
大模型中常见的名词：token、temperature、top-p、top-k
hahaha_1112的博客
08-19 1594
Token是文本处理的基本单位。控制生成文本的随机性和多样性。Top-p和Top-k是两种常见的采样方法，用于控制生成模型的输出，前者基于累积概率，后者基于固定的候选数量。
郝逸洋展望千亿级语言模型：GPT-4挑战与代码生成革新
资源摘要信息:郝逸洋，aiXcoder（硅心科技）的首席技术官，在GTIC 2023中国AIGC创新峰会上发表了题为《大型语言模型（LLM）时代下的代码生成》的演讲，讨论了GPT-4和语言模型在代码生成领域的新变革和挑战。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值