Tensorflow指数衰减方法设置梯度下降算法的学习率

最新推荐文章于 2022-04-10 22:30:41 发布

Realmhang

最新推荐文章于 2022-04-10 22:30:41 发布

阅读量1.6k

点赞数 1

分类专栏： python机器学习文章标签： Tensorflow 指数衰减的学习率

本文链接：https://blog.csdn.net/qq_27150893/article/details/80630241

版权

python机器学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

通过指数衰减的学习率可以让模型在训练的前期快速接近较优解，又可以保证模型在训练后期不会有太大的波动，从而接近局部最优解。Tensorflow调用tf.train.exponential_decay函数实现指数衰减学习率。

global_step = tf.Variable(0)
#通过exponential_decay函数生成学习率
learning_rate = tf.train.exponential_decay(0.1, global_step, 100, 0.96, staircase = True)
#使用指数衰减的学习率。在minimize传入global_step将自动更新global_step参数，从而使学习率得到相应的更新
learning_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(your loss,global_step= global_step)

设置了初始学习率为0.1，将stairvase = True,学习率成为一个阶梯函数，每训练100轮后学习率乘以0.96。