超参数优化-摘抄

超参数优化简介

构建深度学习模型时，你必须确定：应该堆叠多少层？每层应该包含多少个单元或过滤器？激活应该使用relu还是其他函数？在某一层之后是否应该使用BatchNormalization？应该使用多大的dropout比率？这些在架构层面的参数叫超参数(hyperparameter)。相对应地，模型参数是可以通过反向传播进行训练的。

调节超参数的办法，一般是“制定一个原则，系统性地自动探索可能的决策空间”。搜索架构空间，并根据经验找到性能最佳的架构。超参数优化的过程：
1.）选择一组超参数(自动选择)；
2.）构建相应的模型；
3.）将模型在训练数据上拟合，并衡量其在验证数据上的最终性能；
4.）选择要尝试的下一组超参数(自动选择)；
5.）重复上述过程；
6.）最后，衡量模型在测试数据上的性能。
这个过程的关键在于，给定许多组超参数，使用验证性能的历史来选择下一组需要评估的超参数的算法，这类算法有：贝叶斯优化、遗传算法、简单随机搜索等。

超参数优化v.s.模型参数优化

训练模型权重相对简单，即在小批量数据上计算损失函数，然后用反向传播算法让权重向正确方向一定。

超参数优化：（1.）计算反馈信号-这组超参数在这个任务上是否得到了一个高性能的模型-的计算代价可能非常高，它需要在数据集上创建一个新模型 并从头开始训练；（2.）超参数空间通常由许多离散的决定组成，因而既不是连续的 也不是可微的。因此，通常不能在超参数空间中做梯度下降。相反，你必须依赖不使用梯度的优化方法，而这些方法的效率比梯度下降要低很多。

通常，随机搜索-随机选择需要评估的超参数，并重复这一过程-是最好的解决方案。a.）Python工具库Hyperopt是一个超参数优化工具，内部使用Parzen估计其的树来预测哪组超参数可能会得到好的结果。b.）Hyperas库是将Hyperopt与Keras模型集成在一起。

在进行大规模超参数字段优化时，有一个重要的问题需要牢记，即验证集过拟合。因为你是使用验证数据 计算出一个信号，然后根据这个信号 更新超参数，所以你实际上是在验证数据上 训练超参数，很快会对验证数据过拟合。