自动超参数调优（数据分析）

1.概念解释

超参数：在学习之前设置的参数（预定义），除了超参数之外的其他参数都是通过训练获得

自动超参数调优：通过调优算法实现超参数的调节，以实现最优的训练模型

2.具体方法

1.网格搜索

网格搜索是指定参数的一种穷举搜索算法，通过将估计函数的参数通过交叉检验的方法进行优化以得到最优的学习模型。该方法将各个参数可能的取值进行排列组合，列出所有可能的组合结果，生成一个“网格”，将各“网格”用于机器训练，并使用交叉验证来进行验证和评估。在拟合函数尝试了所有的参数组合后，返回一个合适的分类器，自动调整至最佳参数组合。
简单来说，网格搜索就是手动给出一个模型中所有需要改动的参数，程序自动的使用穷举法来将所有参数执行一遍。例如，决策树中常常将最大树深作为调节参数；AdaBoost中将弱分类器的数量作为调节参数。
参看文章

2.随机搜索

随机搜索指在目标位置基本服从均匀分布的条件下，搜索轨迹随机且均匀散步在目标分布区域内的一种搜索方式。常用的随机搜索算法包括：模拟退火算法、遗产算法、进化策略、爬山搜索算法等。
参看文章

3.贝叶斯优化算法

假设一组超参数组合为X=x1,x2,x3,…,xn(xn表示