tensflow学习小知识tf.train.exponential_decay

最新推荐文章于 2022-03-08 16:58:06 发布

sereasuesue

最新推荐文章于 2022-03-08 16:58:06 发布

阅读量242

点赞数

分类专栏： Python 深度学习文章标签： python tensorflow 机器学习

本文链接：https://blog.csdn.net/sereasuesue/article/details/108977934

版权

Python 深度学习专栏收录该内容

70 篇文章 16 订阅

订阅专栏

tf.train.exponential_decay是tensflow1.X版本的2.版本使用以下语句

tf.compat.v1.train.exponential_decay

将指数衰减应用于学习率。

tf.compat.v1.train.exponential_decay(
    learning_rate, global_step, decay_steps, decay_rate, staircase=

训练模型时，通常建议随着训练的进行降低学习率。此函数将指数衰减函数应用于提供的初始学习率。它需要一个global_step值来计算衰减的学习率。您只需传递一个TensorFlow变量，即可在每个训练步骤中增加该变量。

该函数返回衰减的学习率。计算公式为：

decayed_learning_rate = learning_rate *
                        decay_rate ^ (global_step / decay_steps)

如果参数staircase为True，global_step / decay_steps则为整数除法，并且衰减的学习率遵循阶梯函数。

示例：以0.96为底，每100000步衰减一次：

...
global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
learning_rate = tf.compat.v1.train.exponential_decay(starter_learning_rate,
global_step,100000, 0.96, staircase=True)
# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.compat.v1.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

ARGS

`learning_rate`	标量`float32`或`float64` `Tensor`Python数。初始学习率。
`global_step`	标量`int32`或`int64` `Tensor`Python数。用于衰减计算的全局步骤。不能为负。
`decay_steps`	标量`int32`或`int64` `Tensor`Python数。必须是积极的。参见上面的衰减计算。
`decay_rate`	标量`float32`或`float64` `Tensor`Python数。衰减率。
`staircase`	布尔值。如果`True`以离散间隔衰减学习率
`name`	串。操作的可选名称。默认为'ExponentialDecay'。