3个控制LLM生成随机性的语言模型参数

最新推荐文章于 2025-02-27 14:13:52 发布
最新推荐文章于 2025-02-27 14:13:52 发布
阅读量2k 收藏 14
点赞数 21
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shebao3333/article/details/135616838
版权
本文探讨了如何通过调整ChatGPT等大型语言模型的top-k、top-p和温度参数来控制输出的随机性、多样性和确定性，以满足不同应用场景的需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

你可能已经使用 ChatGPT 或任何其他主要的LLM来构建系统、执行分类任务、回答问题或将其用作各种创造性和信息性任务的辅助。 然而，控制这些模型的输出以满足特定要求或匹配所需的风格至关重要。 在本文中，我们将重点关注影响语言模型输出的三个基本参数：top-k、top-p 和温度。

在我们深入了解这些参数之前，我们需要了解贪婪采样（greedy sampling）和随机采样（random sampling）之间的区别。 贪婪采样优先考虑最高概率的标记，确保输出集中，而随机采样（使用 top-k 或 top-p）添加随机性元素，从而产生更加多样化和创造性的输出。 现在大多数 LLM（例如 GPT、Llama-2、Claude 等）都使用贪婪采样，因此我们需要 top-p 和 top-k 参数来控制这种随机性。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 

最低0.47元/天 解锁文章
LLM的生成配置中参数含义
Criss@陈磊
08-17 854
top-k 参数会让模型不会总是选择top 1 权重的结果返回，从而提高了返回的多样性，同时也保证了输出的正确性。如果返回apple，虽然这个单词也在前三的权重里，但是它的权重就非常地了，因此相关性也就比较弱，这样返回的结果就会不是很好了。这其实又有效的避免了前面 top-k 参数的问题。token相信大家都不陌生了，现在在常用的 chatGPT 使用过程中个就有 token 的概念，这里的参数是 Max new tokens 的设置，是最大的新 token 的数量，是一个上限值。
LLM：可控文本生成【Controlable Text Generation(CTG)】
u013250861的博客
08-27 1353
Controlable Text Generation，可控制的文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话，文中引用了另一篇更早的综述的定义：论文中给出了两个简单的例子：第一个例子就是给定一个故事线，要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题，比如会给出有害的建议，甚至说脏话，这个时候就需要我们在模型生成的时候加以控制。
4种控制LLM大模型输出JSON的方法
热门推荐
新缸中之脑
01-16 1万+
JSON 是全球使用最广泛的数据交换格式之一，支持我们的所有需求。在构建人工智能驱动的应用程序时，工程师不可避免地需要将大型语言模型（LLM）的输出集成到他们的代码库中。通过指示 LLM 使用特定的语法或模式，然后输出应用程序所需的生成结果，我们可以使应用程序的行为更加可预测。简而言之，JSON 的互操作性使其成为数据交换的首选。
控制 LLM 的输出格式和解析其输出结果
m0_70886513的博客
12-12 931
控制LLM的输出格式和解析其输出结果是自然语言处理领域的重要问题，涉及多种技术和工具。通过合理的输入控制、输出后处理以及解析方法，可以对LLM的输出进行有效地控制和解析，从而满足不同应用场景的需求。未来，随着自然语言处理技术的不断发展，相信对LLM输出控制和解析的研究也将得到进一步的深化和完善。本文将介绍如何控制LLM的输出格式和解析其输出结果，以及相关的技术和工具。这包括向LLM提供特定的输入格式，比如加入特殊标记、指定特定的任务等，以引导LLM生成特定格式的输出。等，它们在各自的领域取得了显著的成就。
关于LLM的TOP-p、top_K、temperature
2301_77727994的博客
02-27 1191
在使用开源的大语言模型或者调用大语言模型API的时候会遇到temperature、top_p、top_k等参数，对于不了解的LLM的原理的人，可能一头雾水，不知道如何设置。
如何控制 LLM 的输出格式和解析其输出结果？
KQe397773106的博客
03-15 2661
现在很多人对于如何使用像 ChatGPT 这样的 LLM 已经比较有经验了，可以使用各种不同的 Prompt 得到自己想要的结果。但有时候我们的使用场景不局限于手动操作，而是需要结合程序去调用 API，并且解析 API 的返回结果，从而实现一些自动化的功能。但是 LLM 的输出不确定性很大，所以我们需要想办法去控制 LLM 的输出格式，从而让程序得到稳定的输出，并且进一步对输出结果进行解析。
学习笔记41-大语言模型参数说明（Temperature，Top p，Top k）
LZL2020LZL的博客
04-14 1万+
Temperature，Top p，Top k
大型语言模型（LLM）理论简介
Code365
07-08 1万+
大语言模型（LLM，Large Language Model），也称大型语言模型，是一种旨在理解和生成人类语言的人工智能模型。LLM 通常指包含数百亿（或更多）参数的语言模型，它们在海量的文本数据上进行训练，从而获得对语言深层次的理解。目前，国外的知名 LLM 有 GPT-3.5、GPT-4、PaLM、Claude 和 LLaMA 等，国内的有文心一言、讯飞星火、通义千问、ChatGLM、百川等。为了探索性能的极限，许多研究人员开始训练越来越庞大的语言模型，例如拥有1750 亿参数的GPT-3和。
2024-05-22 问AI: 介绍一下大语言模型LLM的常用参数
baidu_24377669的博客
05-22 1672
而一些轻量级的模型，如谷歌的PaLM和DeepMind的Chinchilla，虽然参数数量较GPT-3少，但通过优化模型结构和训练方法，它们在某些任务上也能达到类似的性能。例如，OpenAI的GPT-3模型在2020年发布时，其参数量达到了惊人的1750亿，而在之后的模型中，如GPT-4，其参数量可能进一步增加。然而，更多的参数也意味着更高的计算成本和训练难度。总结来说，大语言模型的常用参数规模随着技术进步而不断增加，目前已经有多种规模的模型被开发和应用，不同的参数规模对应着不同的性能和计算资源需求。
大语言模型LLM学习梳理
w2009211777的专栏
03-07 1324
今天问了下晓宇关于LLM的知识，学到了很多，总结下。
【LLM】大语言模型（LLMs）
linjiuxiansheng的博客
07-23 1833
大型语言模型是由大量参数组成的神经网络，这些参数通过在大规模的文本数据上进行训练而得来。模型通过捕捉语言中的模式和结构，能够生成与理解上下文相关的自然语言文本。机器学习（Machine Learning, ML）是人工智能的一个分支，涉及开发算法和统计模型，使计算机系统能够从数据中自动学习和改进。深度学习（Deep Learning）是机器学习的一个子领域，基于多层神经网络模型进行学习和预测。它通过多个非线性变换和表示层次来提取数据的特征。
大模型生成的常见Top-k、Top-p、Temperature参数
weixin_42357472的博客
06-16 2034
参考： https://zhuanlan.zhihu.com/p/669661536https://www.douyin.com/video/7380126984573127945综合下来：topP一般给后续选择的空间比topK要多些https://www.douyin.com/video/7380324563369889061主要是在改变 softmax 生成解码token的概率上（所有词表每个词的可能概率）： 正常softmax 加速Temperature后的softmax 每个指数除以t；e是自然是
具有温度系数（Temperature）的Softmax函数
Harry的博客
04-06 4987
softmax 函数是一种激活函数，通常用作神经网络最后一层的输出函数。该函数是两个以上变量的逻辑函数的推广。Softmax 将实数向量作为输入，并将其归一化为概率分布。softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。并且所有元素的总和等于1。
LLM超参数temperature，top-p使用
qq_30921029的博客
05-09 3111
一般来说，prompt 越长，描述得越清楚，模型生成的输出质量就越好，置信度越高，这时可以适当调高 temperature 的值；Top-p 通常设置为较高的值（如 0.75），目的是限制可能被采样的低概率 token 的长尾。从上面的原理可以看到，temperature、top-p等参数用于控制生成文本的随机性，值越大随机性越大，意味着多样性和创造性，但可能产生胡言乱语。大模型选择输出token的时候，会有一个采样策略，用于选择输出哪些token，其中两种主要的采样方法就是top-k和top-p。
大模型（LLM）解码：从Greedy Search到Top-P
Mike0010的博客
05-02 2608
LLM意为大型语言模型。ChatGPT就是一种LLM，作为一种人工智能技术，通过使用深度学习算法来处理和生成自然语言文本，这些模型通常需要大量的数据来训练，以便能够理解和生成人类语言。
LLM推理中的参数：beam_search、num_sequences、do_sample、temperature、top_k、top_p、repetition_penalty
smartcat2010的博客
04-16 1809
越小，采样概率拉的越开。设为0时，greedy取top-1。top_k: 每一步，只从概率最高的K个token里采样。设为0则disable该机制（无top_p的话，则所有token都参与采样）。num_sequences: generate输出几个top序列。top_p: 取值范围0~1。每一步，只从按概率从高到底排序的tokens，前面累加概率达到p的这些词，参与采样。do_sample: 设为True，则每个输出都进行采样；设为False，则每个输出都greedy取top-1。
vllm参数详细解释
m0_37617067的博客
09-25 9364
vLLM 推理主要需涉及两个类：模型 LLM，采样参数 SamplingParams。!r!r。
LLM面试攻略：10个大型语言模型常见问题及答案详解
2401_84495872的博客
10-10 1695
今天我们来总结以下大型语言模型面试中常问的问题。
深入理解文本生成模型参数：Top-k、Top-p、Temperature 和 Beam Search
weixin_41174300的博客
10-02 1551
在自然语言处理（NLP）领域，文本生成任务（例如机器翻译、文本摘要和对话生成）是一个重要的研究方向。生成文本时，通常使用诸如 GPT、BERT 等模型。然而，要生成符合预期的文本，仅仅依靠模型本身还不够。如何在解码时控制生成策略对于模型的表现至关重要。top_ktop_p和num_beams，并配合实际例子展示它们在生成效果上的不同之处。
llm每个回话返回的结果不同
最新发布
03-08
### 大规模语言模型输出差异的原因 大规模语言模型（LLMs）每次对话返回不同的结果主要源于其内部机制的设计以及运行环境的影响。这些模型通常基于概率分布来生成文本，这意味着对于相同的输入，可能存在多个合理的输出选项。具体来说： - **随机初始化与采样策略**：为了增加创造力并减少重复性，LLMs采用了一定程度上的随机化处理方式，在解码过程中引入了温度参数或top-k/top-p等采样方法[^1]。 - **上下文窗口限制**：由于计算资源和技术实现方面的考量，大多数LLMs具有固定的上下文长度上限。当超出这一范围时，早期的信息可能会被截断或者压缩表示，从而影响最终生成的内容一致性[^2]。 - **持续更新的学习过程**：部分高级别的LLM会定期接受新的训练数据微调权重参数，这使得即使是相同版本号下的模型也可能存在细微差别；另外一些在线服务形式提供的API接口背后可能部署着不同代际甚至完全独立开发路径的多套系统实例，它们之间自然也存在着性能表现上的波动变化。 ```python import random def generate_response(prompt, temperature=0.7): # 模拟基于给定提示词和温度参数生成回复的过程 possible_responses = ["Yes", "No", "Maybe"] adjusted_probabilities = adjust_probabilities(temperature) chosen_response = random.choices( population=possible_responses, weights=adjusted_probabilities, k=1)[0] return chosen_response def adjust_probabilities(temp): base_probs = [0.8, 0.15, 0.05] scaled_probs = [(p**(1/temp)) for p in base_probs] normalized_probs = [sp/sum(scaled_probs) for sp in scaled_probs] return normalized_probs ``` 上述代码片段展示了如何通过调整温度参数改变响应的选择概率，进而体现LLM输出多样性的一个简化例子。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值