机器学习超参数优化算法进化史

背景: 由于深度学习和传统机器学习的超参数性质差异较大,二者的超参数优化算法原理和偏向也不同, 以下算法整理更适用于传统机器学习.

1.先盲目地搜索
网格搜索(Grid Search, GS) 和 随机搜索(Random Search,RS)

2.要有继承性地搜索
贝叶斯优化算法(Bayesian Optimization,BO)
BO算法能很好地吸取之前的超参数的经验，更快更高效地最下一次超参数的组合进行选择。
但是BO算法也有它的缺点:强假设条件(避免非凸、异常平滑、高维噪音等情况)
因此催生出BO的启发式算法: TPE(一种高斯混合模型)、ETPE等

3.搜索资源发现不够了
SuccessiveHalving、Hyperband
随着超参数的添加以及模型的庞大,但是参数优化本质都是跑马灯形式得到评估值,再做参数选择, 开销越来越大
Ps: 深度学习可以将网络拆解进行参数搜索
因此需要对候选参数进行一些资源限制,产生了上述的算法, 随着迭代次数的变化动态变化分配搜索资源.类似遗传算法思想.

4.Now
BOHB
贝叶斯参数优化器+Hyperband类评价策略的组合.