大模型常用推理参数工作原理

🍎个人主页:小嗷犬的个人主页
🍊个人网站:小嗷犬的技术小站
🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。


do_sample

do_sample 参数控制是否使用采样方法生成输出。当 do_sample=True 时,模型会根据下一个 token 的概率分布进行采样;当 do_sample=False 时,模型会选择概率最大的 token 作为输出。

temperature

temperature 参数通过影响 softmax 控制生成输出时每个 token 的概率分布的平滑程度。

不考虑 temperature 参数,softmax 概率分布的计算公式为:

prob ( x i ) = e x i ∑ j = 1 n e x j \text{prob}(x_i) = \frac{e^{x_i}}{\sum_{j=1}^{n} e^{x_j}} prob(xi)=j=1nexjexi

加入 temperature 参数后,softmax 概率分布的计算公式为:

prob ( x i , t ) = e x i t ∑ j = 1 n e x j t \text{prob}(x_i,t) = \frac{e^{\frac{x_i}{t}}}{\sum_{j=1}^{n} e^{\frac{x_j}{t}}} prob(xi,t)=j=1netxjetxi

下图展示了 temperature 参数的影响:

temperature

top_k

top_k 参数控制生成输出时,只考虑概率最高的 top_k 个 token。

下图展示了 top_k 参数的影响:

top_k

top_p

top_p 参数与 top_k 参数类似,区别在于 top_p 参数控制生成输出时,只考虑累计概率分布在前 top_p 的 token。

下图展示了 top_p 参数的影响:

top_p

协同工作

同时使用 temperaturetop_ktop_p 参数时,它们的影响会以一定顺序叠加。

下图展示了同时使用 temperaturetop_ktop_p 参数的影响:

协同工作

temperaturetop_ktop_p 参数不会改变各 token 概率的相对大小,因此当 do_sample=False 时,token 的选择不会受到上述三个参数的影响。

  • 30
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
模型的核心技术原理主要包括以下几个方面: 1. 深度学习:大模型通常基于深度学习技术,使用深层神经网络进行训练和推理深度学习通过多层次的神经网络模拟人脑的工作方式,可以从大量的数据中学习到复杂的特征表示和模式。 2. 自注意力机制:自注意力机制是大模型常用的关键技术之一。它能够在输入序列中自动学习到不同位置之间的依赖关系,从而更好地捕捉上下文信息。自注意力机制可以有效地处理长距离依赖和建立全局的语义关联。 3. 预训练与微调:大模型通常采用预训练和微调的方式进行训练。预训练阶段使用大规模的无标注数据进行模型初始化,通过学习数据中的统计规律来获取初始的语言表示。微调阶段则使用有标注数据进行有监督的训练,进一步优化模型参数以适应具体任务。 4. 参数共享与多任务学习:为了减少模型参数量和提高模型泛化能力,大模型通常采用参数共享和多任务学习的策略。参数共享可以使得模型在不同任务之间共享相同的特征表示,从而提高模型的效率和泛化能力。多任务学习则可以通过同时学习多个相关任务来提高模型的性能。 5. 模型压缩与加速:由于大模型通常具有巨大的参数量和计算复杂度,为了在实际应用中能够高效地部署和使用,需要进行模型压缩和加速。常见的方法包括剪枝、量化、分布式训练等,可以减少模型参数量和计算量,提高模型推理速度和效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小嗷犬

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值