深度学习中的超参数优化

      构建深度学习模型时，你必须做出许多看似随意的决定：应该堆叠多少层？每层包含多少个单元或过滤器？激活函数应该使用relu还是其他函数？在某一层之后是否应该使用BatchNormalization？应该使用多大的dropout比率？还有很多，这些在架构层面的参数叫做超参数（hyperparameter），以便将其与模型参数区分开来，后者通过反向传播进行训练。

      在实践中，经验丰富的实战者凭着直觉能够判断上述选择哪些可行、哪些不可行。但是调节超参数并没有正式成文的规则。如果想要在某项任务上达到最佳性能，就不能满足于一个容易犯错的人随意做出的选择。即使你拥有很好的直觉，最初的选择也几乎不可能是最优的。

      因此，我们需要制定一个原则，系统性的自动探索可能的决策空间。超参数优化过程通常如下所示。

1）选择一组超参数（自动选择）。

2）构建相应的模型。

3）将模型在训练数据上拟合，并衡量其在验证数据上的最终性能。

4）选择要尝试的下一组超参数（自动选择）。

5）重复上述过程。

6）最后，衡量模型在测试数据上的性能。

        这个过程的关键在于，给定许多组超参数，使用验证性能的历史来选择下一组需要评估的超参数算法。有多种不同的技术可供选择：贝叶斯优化、遗传算法、简单随机搜索等。

       训练模型权重相对简单：在小批量数据上计算损失函数，然后用反向传播算法让权重向正确的方向移动。与此相反，更新超参数则非常具有挑战性。

1）计算反馈信号（这组超参数在这个任务上是否得到了一个高性能的模型）的计算代价可能非常高，他需要在数据集上创建一个新模型并从头开始训练。

2）超参数空间通常由许多离散的决定组成，因而既不是连续的，也不是可微的。因此，你通常不能在超参数空间中做梯度下降。相反，你必须依赖不使用梯度的优化方法，而这些方法的效率比梯度下降要低很多。