机器学习-超参数搜索

模型中除了在训练中自己更新的参数，需要在预先设置的参数称为超参数。大概有如下：bachsize,epoch,learniing rate,…

四种主要策略可用于搜索最佳配置：
1.Babysitting，又名试错（Trial & Error）

2.网格搜索（Grid Search）

3.随机搜索（Random Search）

4.贝叶斯优化（Bayesian Optimization）

1.Babysitting

Babysitting也被称为“试错”,为100%纯手工调参。

2.Grid Search

网格搜索可以遍历所有的配置方法。
流程如下：
定义一个N维的的空间，每一维代表一个超参数，如n={learning_rate, dropout_rate, batch_size}
对于某一维度设定相关的搜索范围如：learning rate={0.1,0.005,0.0001}
搜索空间中所有的可能，每一种可能会得到一个指标值，如acc等，也可以换其他的

3.Random Search

4.Bayesian Optimization