tensorflow中学习率的调参策略

learning_rate_decay_type（调参策略）

1）

exponential_decay(learning_rate, global_step, decay_steps, decay_rate,
                  staircase=False, name=None)

learning_rate:初始值

global_step：逐步衰减指数

decay_steps： 衰减周期（每几步衰减一次）

decay_rate：衰减率（倍率）

staircase：False则是标准的指数型衰减，True时则是阶梯式的衰减方法

2）

piecewise_constant(x, boundaries, values, name=None)

分段函数下降法 

x: global_step

boundaries=[step_1, step_2, ..., step_n]定义衰减步数

values=[val_0, val_1, val_2, ..., val_n] 定义初始值和后续值

3）