【机器学习与深度学习理论要点】8.超参数的概念、调优手段及对模型的影响？

1）什么是超参数?

超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。

2）超参数有哪些调优手段？

①网格搜索

网格搜索指查找搜索范围内的所有的点来确定最优值。如果采用较大的搜索范围以及较小的步长，网格搜索有很大概率找到全局最优值。然而，这种搜索方案十分消耗计算资源和时间，特别是需要调优的超参数比较多的时候。因此，在实际的应用中，网格搜索法一般会先试用较广的搜索范围和较大的步长，在寻找全局最优值可能的位置；然后回逐渐缩小搜索范围和步长，来寻找更精确的最优值。这种操作方案可以降低所需的时间和计算量，但由于目标函数一般是非凸的，所以很可能会错过全局最优值。

②随机搜索

随机搜索的思想与网格搜索比较相似，只是不在测试上界和下界之间的所有值，而是在搜索范围中随机选取样本点。它的理论依据是，如果样本点足够大，那么通过随机采样也能打概率地找到全局最优质值，或其近似值。随机搜索一般会比网格搜索要快一些，但是和网格搜索的快速版一样，他的结果也是没法保证的。

③验证曲线和学习曲线

• 验证曲线：根据不同评估系数来确定超参数优劣
• 学习曲线：根据训练数据规模来确定算法优劣

3）常用超参数对模型的性能影响

①学习率

学习率过大导致无法收敛，过小导致收敛慢

②损失函数部分超参数

对于部分损失函数超参数起变化会对结果十分敏感，而有些则不会太影响。在调整时，建议参考论文的推荐值，并在该推荐值数量级上进行最大最小值调试改参数对结果的影响。

③批样本数量

过大导致训练速度慢，过小导致收敛不稳定

④丢弃率

较小的丢弃率可提升准确度，但可能导致过拟合

⑤卷积核大小

增加卷积核尺寸意味着参数量的增加，同条件下，模型参数也相应的增加。劲量选取小的卷积核。

⑥模型深度

同条件下，下增加深度意为着模型具有更多的参数，更强的拟合能力，深度越深意味着参数越多，需要的时间和硬件资源也越高。