Tensorflow灵活的学习率设置方法--指数衰减法

    神经网络的学习率决定了参数每次更新的幅度，如果学习率过小，需要更多轮的迭代才能达到一个比较理 想的优化效果，如果过大，可能导致参数在极优值的两侧来回移动。TensorFlow提供了一种灵活的学习率设置 方法—— 指数衰减法

语法：tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None)

参数说明：

• learning_rate为事先设定的初始学习率。
• global_step为全局步数，系统会自动更新这个参数的值，从1开始，每迭代一次加1。
• decay_steps为衰减速度。
• decay_rate为衰减系数（取值0到1）。
• staircase默认值为False，连续衰减。当为Trueb表示学习率阶梯式衰减。

代码实现的公式：decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps) 

    当设置为 True 时， global_step / decay_steps 会被转化为 整数，使得学习率成为一个 阶梯函数（staircase function），这时，decay_steps 通常设置为完整训练一个 batch 所需要的迭代轮数，这样一个batch中的每个数据对模型训练有相等的作用，而每完整的训练一个batch， 学习率就减小一次。 

    一般来说，初始学习率、衰减系数和衰减速度都是根据经验设置的，而且代价函 数下降的速度和迭代结束之后总代价的大小没