tensorflow学习率设置方式

1. 指数衰减方式

当选择指数衰减方式更新学习率时，学习率的更新公式如下：

                                  

也就是当模型的参数每更新decay_steps次时，学习率就更新一次，变为原来的decay_rate倍。

import tensorflow as tf

learning_rate = tf.train.exponential_decay(
    learning_rate,    # 初始学习率
    global_step,    # 当前迭代的step
    decay_steps=10000,   # 每迭代多少次学习率更新一次
    decay_rate=0.94,   # decay率
    staircase=True   # 是否按照阶梯形式递减
)