深度学习面试总结-5超参数

超参数:

在机器学习的上下⽂中，超参数是在开始学习过程之前设置值的参数，⽽不是通过训练得到的参数数据。通常情况 下，需要对超参数进⾏优化，给学习机选择⼀组最优超参数，以提⾼学习的性能和效果。

超参数具体来讲⽐如算法中的学习率（learning rate）、梯度下降法迭代的数量（iterations）、隐藏层数⽬（hidden layers）、隐藏层单元数⽬、激活函数（ activation function）都需要根据实际情况来设置，这些数字实际上控制了最后的 参数和的值，所以它们被称作超参数。

寻找超参数的最优值？

在使⽤机器学习算法时，总有⼀些难调的超参数。例如权重衰减⼤⼩，⾼斯核宽度等等。这些参数需要⼈为设置，设置的值 对结果产⽣较⼤影响。常见设置超参数的⽅法有：

1. 猜测和检查：根据经验或直觉，选择参数，⼀直迭代。

 2. ⽹格搜索：让计算机尝试在⼀定范围内均匀分布的⼀组值。

3. 随机搜索：让计算机随机挑选⼀组值。

超参数搜索⼀般过程？

1. 将数据集划分成训练集、验证集及测试集。

2. 在训练集上根据模型的性能指标对模型参数进⾏优化。

3. 在验证集上根据模型的性能指标对模型的超参数进⾏搜索。

4. 步骤 2 和步骤 3 交替迭代，最终确定模型的参数和超参数，在测试集中验证评价模型的优劣。