我们在学习神经网络中经常听到大佬们说,超参数调整之类的话。对于小白来说什么叫超参数和普通的参数有什么区别呢。也不好意思问大佬们这些名词到底是啥函数。所以在网上找一下。参考以下网页参数和超参数
什么是模型参数
简单来说,模型参数就是模型内部的配置变量,可以用数据估计它的值。
具体来讲,模型参数有以下特征:
-
进行模型预测时需要模型参数。
-
模型参数值可以定义模型功能。
-
模型参数用数据估计或数据学习得到。
-
模型参数一般不由实践者手动设置。
模型参数通常作为学习模型的一部分保存。
通常使用优化算法估计模型参数,优化算法是对参数的可能值进行的一种有效搜索。
模型参数的一些例子包括:
-
人造神经网络中的权重。
-
支持向量机中的支持向量。
-
线性回归或逻辑回归中的系数。
什么是模型超参数
模型超参数是模型外部的配置,其值不能从数据估计得到。
具体特征有:
-
模型超参数常应用于估计模型参数的过程中。
-
模型超参数通常由实践者直接指定。
-
模型超参数通常可以使用启发式方法来设置。
-
模型超参数通常根据给定的预测建模问题而调整。
怎样得到它的最优值:对于给定的问题,我们无法知道模型超参数的最优值。但我们可以使用经验法则来探寻其最优值,或复制用于其他问题的值,也可以通过反复试验的方法。
模型超参数的一些例子包括:
-
训练神经网络的学习速率。
-
支持向量机的C和sigma超参数。
-
k邻域中的k。