tf.train.exponential_decay实现指数衰减率。通过这个函数,可以先使用较大的学习率来快速得到一个比较优的解,然后随着迭代的继续逐步减小学习率,使得模型在训练后期更加稳定。
tf.train.exponential_decay格式:
tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True/False)
参数说明:
- learning_rate:初始学习率
- global_step:当前迭代次数
- decay_steps:衰减速度
- decay_rate:衰减系数,通常介于0-1之间。
- staircase=False:衰减方式,(默认值为False,当为True时,(global_step/decay_steps)则被转化为整数) 式。