指数衰减
tf.train.exponential_decay( learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None )将指数衰减应用于学习速率。
在训练模型时,经常建议在训练过程中降低学习速度。 该函数将指数衰减函数应用于提供的初始学习速率。 它需要一个global_step值来计算衰减的学习速率。 你可以传递一个TensorFlow变量,在每个训练步骤中增加。
该函数返回衰减的学习速率。它计算为:
decayed_learning_rate = learning_rate / (1 + decay_rate * global_step / decay_step)或者,如果staircase is True, as:
decayed_learning_rate = learning_rate / (1 + decay_rate * floor (global_step /decay_step))
示例:每100000步衰变一次,基值为0.96:
... global_step = tf.Variable(0, trainable=False) starter_learning_rate = 0.1 learning_rate = tf.train.exponential_decay(starter_learning_rate, global_step, 100000, 0.96, staircase=True) # Passing global_step to minimize() will increment it at each step. learning_step = ( tf.train.GradientDescentOptimizer(learning_rate) .minimize(...my loss..., global_step=global_step))args:
- learning_rate:标量float32或float64的Tensor或者是Python数字。初始学习率。
- global_step:一个python数字,全局step数,代表当前衰减的步数
- decay_steps:标量int32或int64 Tensor或者是Python的数字。必须是正的。参见上面的衰变计算,学习率衰减的步数,也代表学习率每次更新相隔的步数 。
- decay_rate:标量float32或float64 Tensor或者是Python数,衰减率。
- staircase:是否阶梯性更新学习率,即学习率是取float还是int
- name:字符串。操作的可选名称。默认为”ExponentialDecay”。
与 learning_rate类型相同的标量Tensor。衰退后的学习率。
提升:
ValueError:if global_step is not supplied。
翻译自:Tensorflow
tf.train.inverse_time_decay
tf.train.inverse_time_decay( learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None )
将反时限衰减应用到初始学习率。
在训练模型时,经常建议在训练过程中降低学习速度。 该函数将指数衰减函数应用于提供的初始学习速率。 它需要一个global_step值来计算衰减的学习速率。 你可以传递一个TensorFlow变量,在每个训练步骤中增加。
该函数返回衰退的学习速率。 它被计算为:
decayed_learning_rate = learning_rate / (1 + decay_rate * global_step / decay_step)
或者,如果staircase is True, as:
decayed_learning_rate = learning_rate / (1 + decay_rate * floor(global_step / decay_step))
示例:decay 1/t with a rate of 0.5:
... global_step = tf.Variable(0, trainable=False) learning_rate = 0.1 decay_steps = 1.0 decay_rate = 0.5 learning_rate = tf.train.inverse_time_decay(learning_rate, global_step, decay_steps, decay_rate) # Passing global_step to minimize() will increment it at each step. learning_step = ( tf.train.GradientDescentOptimizer(learning_rate) .minimize(...my loss..., global_step=global_step) )
Args:
- learning_rate:标量float32或float64Tensor或Python数字;最初的学习率。
- global_step:一个Python数字;用于衰减计算的全局step。
- decay_steps:应用衰减的频率;必须是正的。学习率衰减的步数,也代表学习率每次更新相隔的步数 。
- decay_rate:一个Python数字;衰减率。
- staircase:是否应用分离式楼梯衰减,即学习率是取float还是int 。
- name:(String)操作的名称; 默认为'InverseTimeDecay'。
翻译自:Tensorflow