指数衰减法控制学习率

TensorFlow提供了灵活的学习率设置方法——指数衰减法，使得学习率会指数级的减小，实现公式是：

decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)
其中，learning_rate表示初始学习率，global_step表示总的迭代训练次数，decay_steps表示改变学习率的间隔次数，decay_rate表示衰减速率，staircase为True表示学习率呈阶梯状衰减按为False表示连续衰减。

使用示例：

global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
learning_rate = tf.train.exponential_decay(starter_learning_rate,global_step, 100000, 0.96, staircase=True)
# Passing global_step to minimize() will increment it at each step.
learning_step = (tf.train.GradientDescentOptimizer(learning_rate).minimize(...my loss..., global_step=global_step))