机器学习/深度学习学习笔记

模型参数和超参数

什么是模型参数？

简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。

具体来讲，模型参数有以下特征：

• 进行模型预测时需要模型参数。

• 模型参数值可以定义模型功能。

• 模型参数用数据估计或数据学习得到。

• 模型参数一般不由实践者手动设置。

• 模型参数通常作为学习模型的一部分保存。

通常使用优化算法估计模型参数，优化算法是对参数的可能值进行的一种有效搜索。

模型参数的一些例子包括：

• 人造神经网络中的权重。

• 支持向量机中的支持向量。

• 线性回归或逻辑回归中的系数。

什么是模型超参数？

模型超参数是模型外部的配置，其值不能从数据估计得到。

具体特征有：

• 模型超参数常应用于估计模型参数的过程中。

• 模型超参数通常由实践者直接指定。

• 模型超参数通常可以使用启发式方法来设置。

• 模型超参数通常根据给定的预测建模问题而调整。

怎样得到它的最优值：对于给定的问题，我们无法知道模型超参数的最优值。但我们可以使用经验法则来探寻其最优值，或复制用于其他问题的值，也可以通过反复试验的方法。

模型超参数的一些例子包括：

• 训练神经网络的学习速率。

• 支持向量机的C和sigma超参数。

• k邻域中的k。

 

       我们可以这样理解，模型参数可以在训练过程中调整，而模型超参数是事先设定好的，在训练过程中无法根据数据进行调整，超参数数值的设定一般依据经验（即手动指定）。