参数和超参数

欢迎关注博主的公众号：happyGirl的异想世界。有更多干货还有技术讨论群哦~

举例说明一些机器学习算法中的普通参数和超参数：

机器学习算法	普通参数举例	超参数举例
决策树	在每个节点上选择的输入变量、每个节点上选择的阈值	每个叶节点所应包括的最少数据量，训练后的剪枝（pruning）策略
随机森林	同上	决策树的数量，输入变量的数量
支持向量机	支持向量（support vector）的选择，每个支持向量的拉格朗日乘数	核（kernel）的选择，正则化常量C和核函数的超参数
神经网络	每层的权重	隐藏层的数量，每层的神经元数量，训练的epoch，学习率等
K近邻		近邻K的选择，距离函数的选择，初始化选择等
朴素贝叶斯	每一类的先验概率	数值属性用核数密度估计量或正态分布，核密度估计量的窗口宽度

[描述来源：Luo G. (2016). A review of automatic selection methods for machine learning algorithms and hyper-parameter values. Network Modeling Analysis in Health Informatics and Bioinformatics. 5:18.]

 

模型根据数据自动学习出的变量，就是参数。比如，深度学习的权重，偏差等。

超参数一般是根据经验确定的变量，用来确定模型的一些参数，超参数不同，模型是不同的。在深度学习中，超参数有：学习速率（lr），迭代次数，层数，每层神经元的个数等等。