机器学习——参数与超参数

        在机器学习中，优化又可以分为参数优化和超参数优化．模型 𝑓(𝒙; 𝜃)中的𝜃 称为模型的参数，可以通过优化算法进行学习．除了可学习的参数 𝜃 之外，还有一类参数是用来定义模型结构或优化策略的，这类参数叫作 超参数 （Hyper-Parameter）．在贝叶斯方法中， 超参 数可以理解为参数的参数， 即控制模型参数分布的参数．

        常见的超参数包括： 聚类算法中的类别个数 、 梯度下降法中的步长 、 正则化项的系数、 神经网络的层数 、 支持向量机中的核函数等 ． 超参数的选取一般都是组合优化问题， 很难通过优化算法来自动学习 ． 因此 ， 超参数优化 是机器学习的一个经验性很强的技术， 通常是按照人的经验设定 ， 或者通过搜索的方法对一组超参数组合进行不断试错调整．