TensorFlow 学习率的设置

为了解决学习率不能过大不能过小的问题，TensorFlow提供了灵活的学习率设置方法：指数衰减法

tensorflow.train.exponential_decay(learing_rate,global_step,decay_steps,decay_rate,staircase=False,name=None)

Args：

• learning_rate : 初始学习率，类型为float32 或 float63的张量或者python number类型
• global_step : 一个全局的当前迭代次数，类型为int32 或 int64的张量或者python number类型，不能为负
• decay_steps : 衰减速度，类型为int32 或 int64的张量或者python number类型，必须为正
• decay_rate : 衰减率，类型为float32 或 float63的张量或者python number类型
• staircase : 类型为boolean，通过设置它选择不同的衰减方式，默认为False表示连续衰减，True表示阶梯状衰减
• name : 类型为string，操作的名称

Return：
衰减的学习率

这个函数将指数衰减函数应用于初始化学习率，它使用一个名称为global_step变量去计算衰减学习率，可以将一个在迭代中自增的TensorFlow变量传给它。
这个函数返回一个衰减学习率，计算方式如下：

decayed_learning_rate = learing_rate * decay_rate^(global_step / decay_steps)

如果参数staircase为True，global / decay_steps 转化为一个整数。
Example:每10000轮一个0.96的速度衰减一次

global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
learning_rate = tf.exponential_decay(starter_learning_rate, global_step,100000, 0.96, staircase=True)
optimizer = tf.GradientDescent(learning_rate)
optimizer.minimize(...my loss..., global_step=global_step)