深度网络中的调参问题

刚接触深度神经网络时，会不知道应该调哪些参数，不知道应该调到多少合适。
输入图像的大小
学习率
batch_size
dropout
优化器设置

最重要的参数是学习率的设置，在以前都会使用一个固定的学习率，但是这样可能会在最优值附近震荡。所以后来提出了使用学习率衰减decay。
实现方式： 可以使用学习衰减率实现

在刚开始训练，距离最优解较远时可以采用稍大的学习率，随着迭代次数增加，在逼近最优解的过程中，逐渐减小学习率。