我们直到学习率对于机器学习来说,大的学习率虽然往往能够使得损失函数快速下降,但是导致不收敛或者振荡现象的发生,而小的学习率虽然收敛,但是学习速率太慢,损失函数下降缓慢,需要等待长时间的训练,同时也会容易陷入局部最优。因此,一种解决方法是令学习率随迭代次数的增加而下降。
下面是python示例。该例子可以参考TensorFlow进阶--实现反向传播博文
这里的关键在于
tf.train.exponential_decay(initial_learning_rate,global_step=global_step,decay_steps=