模型参数与模型超参数

什么是模型参数?

模型参数是模型内部的配置变量,其值可以根据数据进行估计。
模型在进行预测时需要它们。它们的值定义了可使用的模型。他们是从数据估计或获悉的。它们通常不由编程者手动设置。他们通常被保存为学习模型的一部分。
参数是机器学习算法的关键。它们通常由过去的训练数据中总结得出。
在经典的机器学习文献中,我们可以将模型看作假设,将参数视为对特定数据集的量身打造的假设。
最优化算法是估计模型参数的有效工具。
统计:在统计学中,您可以假设一个变量的分布,如高斯分布。高斯分布的两个参数是平均值和标准偏差。这适用于机器学习,其中这些参数可以从数据中估算出来并用作预测模型的一部分。编程:在编程中,您可以将参数传递给函数。在这种情况下,参数是一个函数参数,它可能具有一个值范围之一。在机器学习中,您使用的特定模型是函数,需要参数才能对新数据进行预测。
模型是否具有固定或可变数量的参数决定了它是否可以被称为“参数”或“非参数”。
模型参数的一些示例包括:
神经网络中的权重
支持向量机中的支持向量
线性回归或逻辑回归中的系数

什么是模型超参数?

模型超参数是模型外部的配置,其值无法从数据中估计。

它们通常用于帮助估计模型参数。它们通常由人工指定。他们通常可以使用启发式设置。他们经常被调整为给定的预测建模问题。
我们虽然无法知道给定问题的模型超参数的最佳值,但是我们可以使用经验法则,在其他问题上使用复制值,或通过反复试验来搜索最佳值。
当机器学习算法针对特定问题进行调整时(例如,使用网格搜索或随机搜索时),那么正在调整模型的超参数或顺序以发现导致最熟练的模型的参数预测。
“许多模型有不能从数据直接估计的重要参数。例如,在K近邻分类模型中…因为没有可用于计算适当值的分析公式,这种类型的模型参数被称为调整参数。”- 第64-65页,《应用预测模型》,2013

如果模型超参数被称为模型参数,会造成很多混淆。克服这种困惑的一个经验法则如下:
如果必须手动指定模型参数,那么它可能是一个模型超参数。
模型超参数的一些例子包括:
训练神经网络的学习速率
用于支持向量机的C和sigma超参数
K最近邻的K

总之,模型参数是根据数据自动估算的。但模型超参数是手动设置的,并且在过程中用于帮助估计模型参数。

转自 https://mp.weixin.qq.com/s/pwJ643vPBNc3GguMB4ipYA

  • 2
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer模型是一种用于自然语言处理任务的强大模型,它引入了自注意力机制来捕捉输入序列中的上下文信息。下面是Transformer模型的一些常见参数: 1. 编码器和解码器层数(num_layers):指定Transformer模型中编码器和解码器的层数。通常情况下,更深的层数可以提供更好的建模能力,但也会增加计算成本。 2. 注意力头数(num_heads):指定自注意力机制中的注意力头数。注意力头数越多,模型可以并行处理更多的信息,但也会增加计算成本。 3. 隐藏层维度(hidden_size):指定编码器和解码器中隐藏层的维度大小。较大的隐藏层维度可以提供更强的建模能力,但也会增加模型的复杂度和计算成本。 4. 前馈神经网络维度(feed_forward_size):指定编码器和解码器中前馈神经网络隐藏层的维度大小。较大的前馈神经网络维度可以提供更强的非线性建模能力。 5. Dropout概率(dropout_rate):指定在训练过程中随机丢弃神经元的概率。通过使用Dropout可以减少过拟合现象。 6. 学习率(learning_rate):指定模型在训练过程中的学习率大小。学习率决定了模型参数更新的步长,过大或过小的学习率都可能导致训练不稳定。 7. 批量大小(batch_size):指定每次训练时输入的样本数量。较大的批量大小可以提高训练效率,但也会增加内存消耗。 8. 最大序列长度(max_sequence_length):指定输入序列的最大长度。过最大序列长度的部分将被截断或者进行填充。 这些参数的选择通常需要根据具体任务和数据集进行调整和优化。同时,还有其他一些参数可以进一步调整,如学习率衰减策略、正则化参数等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值