【机器学习百问】13.超参数如何调优

问题难度（五分制）：3
超参数定义：
在网络计算中不会变化，但对计算结果有影响的参数；
比如：学习率（搜索步长），目标值（期望值），搜索范围等；
调优方法：
1.网格搜索法（暴力求解）
在给定范围内，遍历每一个可能的取值（步长的可能取值，范围的可能取值等），寻求最优点；（由于每一个都要试一试，所以耗时巨大）；
改进版的网格搜索是现在一个较大范围内确定可能的位置（步长稍微大一点先到达可能点），再在可能的位置中寻求更精确（步长放小精确寻找）的值，但是这样也有可能错过全局最优值。
2.随机搜索法
在给定范围中随机取点，当取点数量足够大的时候，也能大概率找到最优值；（如你所见，可靠性也无法保证）；
3.贝叶斯优化算法
相比与前两种算法每个点计算都是独立的特点贝叶斯优化算法通过前后联系学习目标函数形状来确定最优点：
首先根据先验分布，假设一个搜索函数；
然后每一个采取新的采样点来测试目标函数时，利用这个信息来更新目标函数的先验分布；
最后，算法册数有后验分布给出的全局最值最可能出现的位置点；

存在的问题在于，一旦找到了一个局部最优值，就会在该点区域重复踩点，极大可能落入局部最优无法跳出。
改进后，贝叶斯优化算法会在搜索和利用之间找到一个平衡点。