在机器学习中,优化又可以分为参数优化和超参数优化.模型 𝑓(𝒙; 𝜃)中的𝜃 称为模型的参数,可以通过优化算法进行学习.除了可学习的参数 𝜃 之外,还有一类参数是用来定义模型结构或优化策略的,这类参数叫作
超参数
(Hyper-Parameter).在贝叶斯方法中,
超参 数可以理解为参数的参数,
即控制模型参数分布的参数.
常见的超参数包括:
聚类算法中的类别个数
、
梯度下降法中的步长
、
正则化项的系数、
神经网络的层数
、
支持向量机中的核函数等
.
超参数的选取一般都是组合优化问题,
很难通过优化算法来自动学习
.
因此
,
超参数优化
是机器学习的一个经验性很强的技术,
通常是按照人的经验设定
,
或者通过搜索的方法对一组超参数组合进行不断试错调整.