深度学习笔记(2)：3.1 参数调试过程 | 3.2 使用适当的尺度选择参数 | 3.3 调参实践

3.1 调试过程(tuning process)

在训练神经网络过程中，我们会有很多的超参数需要调试，比如学习率，momentum参数，adam参数、和，神经网络层数(layers)，每层神经网络隐藏的神经元(hidden units)，如果使用learning rate decay，还会有其他参数，还有mini-batch的大小。

但这些参数重要性有区别，如下图所示：

红色圈起来的学习率是最重要的，其次是黄色，最后是紫色。吴老师在使用adam方法时直接使用作者论文提出的、和的默认值，并不进行改动。

在同时调试多个参数时，这里教给大家一个提高效率的小trick，如下图所示：

假设我们要同时调试两个参数，以前我们经常会用的作法是进行网格搜索(grid search)，