深度学习中常用的学习率衰减策略及tensorflow实现

最新推荐文章于 2024-07-25 06:34:13 发布
最新推荐文章于 2024-07-25 06:34:13 发布
阅读量4.7k 收藏 38
点赞数 6
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Strive_For_Future/article/details/108927275
版权

目录

引言

（1）分段常数衰减

（2）指数衰减

（3）自然指数衰减

（4）多项式衰减 

（5）余弦衰减 

（6）线性余弦衰减

（7）噪声线性余弦衰减

（8）倒数衰减

引言

学习率（learning rate,lr）是在神经网络的训练过程中一个很重要的超参数，对神经网络的训练效果与训练时间成本有很大影响。

学习率对训练效果的影响（主要体现在对网络的有效容量/参数搜索空间的影响上）：

  • 学习率过大：导致参数更新步幅过大，迈过了很多候选参数，有可能会越过最优值。因此，从这个意义上讲，过大的学习率会降低模型的有效容量，缩小了神经网络的参数搜索空间。

  • 学习率过小：因为神经网络的优化是一个非凸过程，损失函数曲线/超平面上存在许多局部极小值，鞍点，平滑点等。过小的学习率容易导致参数搜索过程中，使网络参数停留在一个很高的局部极小值上，不能继续搜索更好的、更偏向于全局的局部极小值。从这个意义上讲，学习率过小也会降低模型的有效容量。

学习率对训练时间成本的影响：

  • 学习率过大，会导致参数优化过程中损失函数值震荡（或，在最终的极优值两侧来回摆动），导致网络不能收敛。

  • 学习率过小，除了会导致训练速度慢以外，还容易导致模型停留在一个训练误差很高的局部极小值上，不利于寻找一个更低的（或更偏向于全局的）局部极小值。

在神经网络的训练过程中，常采用的一个策略就是使用学习率更新策略，使学习率随着模型训练的迭代次数逐渐衰减，这样既可以兼顾学习效率又能兼顾后期学习的稳定性：前期通过大学习率快速搜索，找到一个较好的（更倾向于全局最小的）局部区域，后期用较小的学习率在这个局部区域进行收敛。

主要的学习率更新策略有以下几种：

  • 分段常数衰减
  • 指数衰减
  • 自然指数衰减
  • 多项式衰减
  • 余弦衰减
  • 倒数衰减

tensorflow中的学习率衰减方法有：

  • tf.train.piecewise_constant　分段常数衰减
  • tf.train.exponential_decay　指数衰减
  • tf.train.natural_exp_decay　自然指数衰减
  • tf.train.polynomial_decay　多项式衰减
  • tf.train.cosine_decay　余弦衰减
  • tf.train.linear_cosine_decay　线性余弦衰减
  • tf.train.noisy_linear_cosine_decay　噪声线性余弦衰减
  • tf.train.inverse_time_decay　倒数衰减
    函数返回衰减的学习率

（1）分段常数衰减

分段常数衰减是通过人工指定，在某个迭代区间使用某个学习率。一般是初始学习率较高，后面随着迭代次数增加逐渐降低。

tensorflow中的函数介绍

tf.train.piecewise_constant(
    x,          # 标量，global_step，当前的迭代次数，
    boundaries, # 列表，更换学习率的迭代次数边界，如[40000,80000]
    values,     # 学习率列表，values的长度比boundaries的长度多一个,如[1e-3,1e-4,1e-5]
    name=None   # 
)
"""
如果按照以上的示例，模型训练时的学习率变化表现是：

当globalstep<40000时，lr=1e-3,
当40000<globalstep<80000时，lr=1e-4
当80000<globalstep时，lr=1e-5
"""

使用示例：

#!/usr/bin/python
# coding:utf-8
 
# piecewise_constant 阶梯式下降法
import matplotlib.pyplot as plt
import tensorflow as tf
global_step = tf.Variable(0, name='global_step', trainable=False)
boundaries = [10, 20, 30]
learing_rates = [0.1, 0.07, 0.025, 0.0125]
y = []
N = 40
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for global_step in range(N):
        learing_rate = tf.train.piecewise_constant(global_step, boundaries=boundaries, values=learing_rates)
        lr = sess.run([learing_rate])
        y.append(lr[0])
 
x = range(N)
plt.plot(x, y, 'r-', linewidth=2)
plt.title('piecewise_constant')
plt.show()

学习率曲线示意图：

（2）指数衰减

人工设定衰减系数，使训练过程每经历decay_steps次迭代，学习率都乘以一个衰减系数decay_rate，从而达到学习率指数下降的目的。

衰减公式：

lr_{decayed} = learning\_rate*decay\_rate^{\frac{global_step}{decay\_steps}}

tensorflow中的函数介绍： 

tf.train.exponential_decay(
    learning_rate, # 初始学习率
    global_step,   # 当前训练迭代的次数
    decay_steps,   # 定义衰减周期，跟参数staircase配合，可以在decay_step个训练轮次内保持学习率不变
    decay_rate,    # 衰减率系数
    staircase=False, # 定义是否是阶梯型衰减，还是连续衰减，默认是False，即连续衰减（标准的指数型衰减）
    name=None
)
"""
当starecase=False时，相当于默认decay_steps=1，没执行一次迭代，就执行一次指数衰减。

个人认为设置starecase=True较好，因为指数下降实在是太快，每迭代一次就执行一次衰减的话学习率下降太快了。
"""

使用示例：

#!/usr/bin/python
# coding:utf-8
import matplotlib.pyplot as plt
import tensorflow as tf
global_step = tf.Variable(0, name='global_step', trainable=False)
 
y = []
z = []
N = 200
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for global_step in range(N):
        # 阶梯型衰减
        learing_rate1 = tf.train.exponential_decay(
            learning_rate=0.5, global_step=global_step, decay_steps=10, decay_rate=0.9, staircase=True)
        # 标准指数型衰减
        learing_rate2 = tf.train.exponential_decay(
            learning_rate=0.5, global_step=global_step, decay_steps=10, decay_rate=0.9, staircase=False)
        lr1 = sess.run([learing_rate1])
        lr2 = sess.run([learing_rate2])
        y.append(lr1[0])
        z.append(lr2[0])
 
x = range(N)
fig = plt.figure()
ax = fig.add_subplot(111)
ax.set_ylim([0, 0.55])
plt.plot(x, y, 'r-', linewidth=2)
plt.plot(x, z, 'g-', linewidth=2)
plt.title('exponential_decay')
ax.set_xlabel('step')
ax.set_ylabel('learing rate')
plt.show()

学习率变化曲线如下图所示，

图中红线表示starecase=True,绿线表示starecase=False

（3）自然指数衰减

自然指数衰减是指数衰减的一种特殊情况，学习率也是跟当前的训练轮次指数相关，只不过以 e 为底数。

衰减公式：

decayed\_learning\_rate = learning\_rate * e^{-decay\_rate * global\_step}

tensorflow中的函数介绍： 

tf.train.natural_exp_decay(
    learning_rate,    # 初始学习率
    global_step,      # 全局迭代次数
    decay_steps,      # 每隔decay_steps执行一次学习率指数衰减
    decay_rate,       # 标量。衰减系数
    staircase=False,  # 是否执行阶梯式衰减，默认是False，即连续衰减
    name=None
)

使用示例： 

# coding:utf-8
 
import matplotlib.pyplot as plt
import tensorflow as tf
 
num_epoch = tf.Variable(0, name='global_step', trainable=False)
 
y = []
z = []
w = []
m = []
N = 200
 
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for num_epoch in range(N):
 
        # 阶梯型衰减
        learing_rate1 = tf.train.natural_exp_decay(
            learning_rate=0.5, global_step=num_epoch, decay_steps=10, decay_rate=0.9, staircase=True)
 
        # 标准指数型衰减
        learing_rate2 = tf.train.natural_exp_decay(
            learning_rate=0.5, global_step=num_epoch, decay_steps=10, decay_rate=0.9, staircase=False)
 
        # 阶梯型指数衰减
        learing_rate3 = tf.train.exponential_decay(
            learning_rate=0.5, global_step=num_epoch, decay_steps=10, decay_rate=0.9, staircase=True)
 
        # 标准指数衰减
        learing_rate4 = tf.train.exponential_decay(
            learning_rate=0.5, global_step=num_epoch, decay_steps=10, decay_rate=0.9, staircase=False)
 
        lr1 = sess.run([learing_rate1])
        lr2 = sess.run([learing_rate2])
        lr3 = sess.run([learing_rate3])
        lr4 = sess.run([learing_rate4])
 
        y.append(lr1)
        z.append(lr2)
        w.append(lr3)
        m.append(lr4)
 
x = range(N)
fig = plt.figure()
ax = fig.add_subplot(111)
ax.set_ylim([0, 0.55])
 
plt.plot(x, y, 'r-', linewidth=2)
plt.plot(x, z, 'g-', linewidth=2)
plt.plot(x, w, 'r-', linewidth=2)
plt.plot(x, m, 'g-', linewidth=2)
 
plt.title('natural_exp_decay')
ax.set_xlabel('step')
ax.set_ylabel('learing rate')
plt.show()

学习率曲线示意图：

左下部分的两条曲线是自然指数衰减，右上部分的两条曲线是指数衰减，可见自然指数衰减对学习率的衰减程度要远大于一般的指数衰减，一般用于可以较快收敛的网络，或者是训练数据集比较大的场合。

（4）多项式衰减 

多项式衰减是这样一种衰减机制：定义一个初始的学习率，一个最低的学习率。学习率从初始学习率逐渐降低到最低的学习率。当降低到最低学习率后，可以根据参数cycle=True/False设置，选择（1）False,一直保持使用最低学习率，（2）True，把学习率从最低学习率再上升到一个新的较高学习率，再次执行衰减，并循环往复，形成一个反复的升降过程。

衰减公式：

当cycle=False时，学习率计算公式如下：

_global_step_ = min(global_step, decay_steps)
decayed_learning_rate =  (learning_rate - end_learning_rate) *(1 - _global_step_ / decay_steps) ^ (power)             

                                           + end_learning_rate

公式理解：由公式可见，当global_step>decay_steps时， _global_step_=decay_steps，==》0的任何次幂等于0

                                         ==》decayed_learning_rate=end_learning_rate

当cycle=True时，学习率计算公式如下：

_decay_steps_ = decay_steps * ceil(global_step / decay_steps)                   # ceil表示向上取整
decayed_learning_rate =  (learning_rate - end_learning_rate) *(1 - global_step / _decay_steps_) ^ (power)             

                                           + end_learning_rate

公式理解：由公式可见，随着global_step逐渐增大，_decay_steps_也周期性的增大。

                  当 global_step > decay_steps 时，global_step / _decay_steps_ 始终大于等于0，小于1，周期性的由小变大。

                 从而 (1 - global_step / _decay_steps_) 周期性的由大变小，decayed_learning_rate也周期性的由大变小。

                 当global_step恰好是decay_steps的倍数时，(1 - global_step / _decay_steps_)=0，                 

                                                                                       decayed_learning_rate = learning_rate

tensorflow中的函数介绍：  

tf.train.polynomial_decay(
    learning_rate, # 标量，初始学习率,如0.1
    global_step,   # 标量，训练的迭代次数
    decay_steps,   # 
    end_learning_rate=0.0001, # 标量，最小的终止学习率
    power=1.0, # 多项式指数，默认是线性的，取值为1
    cycle=False, # bool变量，当超过decay_steps后是否循环执行
    name=None
)

使用示例：

# coding:utf-8
import matplotlib.pyplot as plt
import tensorflow as tf
 
y = []
z = []
N = 200
 
global_step = tf.Variable(0, name='global_step', trainable=False)
 
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for global_step in range(N):
        # cycle=False
        learing_rate1 = tf.train.polynomial_decay(
            learning_rate=0.1, global_step=global_step, decay_steps=50,
            end_learning_rate=0.01, power=0.5, cycle=False)
        # cycle=True
        learing_rate2 = tf.train.polynomial_decay(
            learning_rate=0.1, global_step=global_step, decay_steps=50,
            end_learning_rate=0.01, power=0.5, cycle=True)
 
        lr1 = sess.run([learing_rate1])
        lr2 = sess.run([learing_rate2])
        y.append(lr1)
        z.append(lr2)
 
x = range(N)
fig = plt.figure()
ax = fig.add_subplot(111)
plt.plot(x, z, 'g-', linewidth=2)
plt.plot(x, y, 'r--', linewidth=2)
plt.title('polynomial_decay')
ax.set_xlabel('step')
ax.set_ylabel('learing rate')
plt.show()

学习率变化曲线如下图所示：

  • 红线表示cycle=False,当迭代次数超过 decay_steps后，保持end_learning_rate不再改变
  • 绿线表示cycle=True,当迭代次数超过decay_steps后，学习率从end_learning_rate上升到一个数值后，再次执行衰减。
  • 多项式衰减中设置学习率可以往复升降的目的是为了防止神经网络后期训练的学习率过小，导致网络参数陷入某个局部最优解出不来，设置学习率升高机制，有可能使网络跳出局部最优解。

（5）余弦衰减 

余弦衰减的衰减机制跟余弦函数相关，形状也大体上是余弦形状。

计算公式如下：

_global_step_ = min(global_step, decay_steps)

cosine_decay = 0.5 * (1 + cos(pi * _global_step_ / decay_steps)) 

decayed = (1 - alpha) * cosine_decay + alpha

decayed_learning_rate = learning_rate * decayed

公式解释：在cosine_decay表达式中，cos部分从cos(0)逐渐降低增加到cos(pi)后保持不变，导致cosine_decay从1沿余弦函数曲线下降到0后维持不变，主要体现为学习率的平滑变化

tensorflow中的函数介绍：  

tf.train.cosine_decay(
    learning_rate, # 初始学习率
    global_step,   # 全局迭代次数
    decay_steps,   # 衰减步数，即从初始学习率衰减到最低学习率时的迭代次数
    alpha=0.0,     # 
    name=None
)

（6）线性余弦衰减

计算公式

global_step = min(global_step, decay_steps)
linear_decay = (decay_steps - global_step) / decay_steps)
cosine_decay = 0.5 * (1 + cos(pi * 2 * num_periods * global_step / decay_steps))
decayed = (alpha + linear_decay) * cosine_decay + beta
decayed_learning_rate = learning_rate * decayed

 tensorflow中的函数介绍： 

tf.train.linear_cosine_decay(
    learning_rate,   #  The initial learning rate.
    global_step,     #  Global step to use for the decay computation.
    decay_steps,     #  Number of steps to decay over.
    num_periods=0.5, #  Number of periods in the cosine part of the decay.
    alpha=0.0,
    beta=0.001,
    name=None
)

（7）噪声线性余弦衰减

计算公式：

_global_step_ = min(global_step, decay_steps)
linear_decay = (decay_steps - _global_step_) / decay_steps)
cosine_decay = 0.5 * (1 + cos(pi * 2 * num_periods * _global_step_ / decay_steps))
decayed = (alpha + linear_decay + eps_t) * cosine_decay + beta
decayed_learning_rate = learning_rate * decayed

tensorflow中的函数介绍：  

tf.train.noisy_linear_cosine_decay(
    learning_rate, # The initial learning rate.
    global_step,   # Global step to use for the decay computation.
    decay_steps,   # Number of steps to decay over.
    initial_variance=1.0,  # initial variance for the noise. 
    variance_decay=0.55,   # decay for the noise's variance. See computation above.
    num_periods=0.5,       # Number of periods in the cosine part of the decay. 
    alpha=0.0,
    beta=0.001,
    name=None
)

三种余弦衰减函数的使用示例：

# coding:utf-8
import matplotlib.pyplot as plt
import tensorflow as tf
 
y = []
z = []
w = []
N = 200
global_step = tf.Variable(0, name='global_step', trainable=False)
 
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for global_step in range(N):
        # 余弦衰减
        learing_rate1 = tf.train.cosine_decay(
            learning_rate=0.1, global_step=global_step, decay_steps=50)
        
        # 线性余弦衰减
        learing_rate2 = tf.train.linear_cosine_decay(
            learning_rate=0.1, global_step=global_step, decay_steps=50,
            num_periods=0.2, alpha=0.5, beta=0.2)
        
        # 噪声线性余弦衰减
        learing_rate3 = tf.train.noisy_linear_cosine_decay(
            learning_rate=0.1, global_step=global_step, decay_steps=50,
            initial_variance=0.01, variance_decay=0.1, num_periods=0.2, alpha=0.5, beta=0.2)
        
        lr1 = sess.run([learing_rate1])
        lr2 = sess.run([learing_rate2])
        lr3 = sess.run([learing_rate3])
        y.append(lr1)
        z.append(lr2)
        w.append(lr3)
 
x = range(N)
fig = plt.figure()
ax = fig.add_subplot(111)
plt.plot(x, z, 'b-', linewidth=2)
plt.plot(x, y, 'r-', linewidth=2)
plt.plot(x, w, 'g-', linewidth=2)
plt.title('cosine_decay')
ax.set_xlabel('step')
ax.set_ylabel('learing rate')
plt.show()

三种余弦衰减的学习率曲线如下图所示：

  • 红色标准余弦衰减（tf.train.cosine_decay()），学习率从初始曲线过渡到最低学习率; 
  • 蓝色线性余弦衰减（tf.train.linear_cosine_decay()），学习率从初始线性过渡到最低学习率; 
  • 绿色噪声线性余弦衰减（tf.train.noisy_linear_cosine_decay()），在线性余弦衰减基础上增加了随机噪声;  

（8）倒数衰减

倒数衰减指的是一个变量的大小与另一个变量的大小成反比的关系，具体到神经网络中就是学习率的大小跟训练次数有一定的反比关系。

计算公式：

decayed_learning_rate =learning_rate/(1+decay_rate* global_step/decay_step)

tensorflow中的函数介绍： 


tf.train.inverse_time_decay(
    learning_rate,  # 初始学习率
    global_step,    # 用于衰减计算的全局步数
    decay_steps,    # 衰减步数
    decay_rate,     # 衰减率
    staircase=False,  # 是否应用离散阶梯型衰减（否则为连续型）
    name=None
)

使用示例：

#!/usr/bin/python
# coding:utf-8
 
import matplotlib.pyplot as plt
import tensorflow as tf
y = []
z = []
N = 200
global_step = tf.Variable(0, name='global_step', trainable=False)
 
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for global_step in range(N):
        # 阶梯型衰减
        learing_rate1 = tf.train.inverse_time_decay(
            learning_rate=0.1, global_step=global_step, decay_steps=20,
            decay_rate=0.2, staircase=True)
        # 连续型衰减
        learing_rate2 = tf.train.inverse_time_decay(
            learning_rate=0.1, global_step=global_step, decay_steps=20,
            decay_rate=0.2, staircase=False)
        lr1 = sess.run([learing_rate1])
        lr2 = sess.run([learing_rate2])
 
        y.append(lr1[0])
        z.append(lr2[0])
 
x = range(N)
fig = plt.figure()
ax = fig.add_subplot(111)
plt.plot(x, z, 'r-', linewidth=2)
plt.plot(x, y, 'g-', linewidth=2)
plt.title('inverse_time_decay')
ax.set_xlabel('step')
ax.set_ylabel('learing rate')
plt.show()

学习率变化曲线示意图： 

倒数衰减不固定最小学习率，迭代次数越多，学习率越小。

参考： 学习率衰减方法 

            tensorflow中常用学习率更新策略

wzg2016
关注
Tensorflow2.0 自定义余弦退火学习率衰减策略
cocofisher的博客
12-10 2691
项目说明 余弦退火学习率衰减的学习率曲线如下图所示： 除了在训练过程中进行学习率衰减以防止求得的最优解不断震荡之外，余弦退火衰减策略规定，学习率每次衰减到0之后，会迅速回升至初始值，这样可以避免陷入局部最优解。关于余弦退火学习率衰减策略的详细介绍可以参考文章：学习率衰减之余弦退火(CosineAnnealing）。 代码实现 在 Tensorflow2.0 中自定义学习率衰减策略其实很简单，可以参考文章：Tensorflow2.0学习率衰减详细汇总。 import tensorflow as tf imp
几种学习率衰减策略
qq_36559293的博客
12-04 5804
学习率调整 学习率是神经网络优化时的重要超参数。在梯度下降方法中，学习率α的取值非常关键，如果过大就不会收敛，如果过小则收敛速度太慢。常用的学习率调整方法包括学习率衰减率、学习率预热、周期学习率以及一些自适应地调整学习率的方法，比如AdaGrad、RMSprop、AdaDelta等。自适应学习率方法可以针对每个参数设置不同的学习率。 周期性学习率调整 为了使得梯度下降方法能够逃离局部最小值或鞍点，...
神经网络十大学习率衰减提效策略
炼丹笔记
06-09 508
神经网络十大学习率衰减提效策略！目前越来越多非结构化问题的出现，神经网络也扮演着愈加重要的作用。一个好的神经网络对于最终任务的预测至关重要，但要得到一个好的神经网络则需要考虑众多的因素，本文我们重点介绍神经网络中调参重学习率衰减的调节策略。本文介绍目前tensorflow中的9大学习率衰减策略。exponential_decay = learning_rate_decay.exponential_...
衰减余弦函数曲线拟合的可能方法[回归]
最新发布
wangbadan121的专栏
07-25 281
至于人工智能大模型的应用，我们可以将这个过程视为一个机器学习任务，即将时间序列数据转换为特征向量，然后使用机器学习算法进行拟合和预测。首先，我们需要了解什么是衰减余弦函数。在数学中，衰减余弦函数是指一个振幅随时间变化，频率也随着时间的正弦波函数。plt.plot(time, decay_cos(time, *popt), 'r-', label='拟合曲线')time = np.array([0, 1, 2, 3, 4, 5]) # 时间。其中，A 是振幅，ω 是频率，φ 是相位延迟，k 是衰减率。
梯度下降学习率的设定策略
得克特
04-23 1万+
发现一篇写的很好的关于学习率的文章 本文转载自卢明冬的博客-梯度下降学习率的设定策略 1.学习率的重要性 1）学习率设置太小，需要花费过多的时间来收敛 2）学习率设置较大，在最小值附近震荡却无法收敛到最小值 3）进入局部极值点就收敛，没有真正找到的最优解 4）停在鞍点处，不能够在另一维度继续下降 梯度下降算法有两个重要的控制因子：一个是步长，由学习率控制；一个是方向，由梯度指定。 2.学习率的设定...
学习率的衰减策略
梁小憨憨的博客
02-14 1593
最近训练网络遇到了问题，然后就开始查找资料，就看到了使用学习率的衰减策略可能解决我的问题，然后就学习了一了，学习完拖了好久没有整理，今天网络训练不下去了，整理下一下换换脑子，也方便以后查阅。
pytorch----深度学习中学习率的衰减策略
qq_40379132的博客
06-09 9472
学习率是 神经网络 优化时的重要超参数。学习率α的取值非常关键，学习率越大则权重更新的越快。在梯度下降方法中，如果过大就不会收敛，如果过小则收敛速度太慢。学习率越大，输出误差对参数的影响就越大，参数更新的就越快，但同时受到异常数据的影响也就越大，很容易发散。一般来说，我们希望在训练初期学习率大一些，使得网络收敛迅速，在训练后期学习率小一些，使得网络在收敛到最优点附近时避免来回震荡，更好的收敛到最优解。 因此，比较简单直接的学习率调整可以通过学习率衰减（Learning Rate Decay）的方式来实现。可
pytorch学习率下降策略
zhangxu
01-23 5672
阶段离散下降调整策略 连续下降调整策略 周期性调整策略 自适应调整策略 自定义调整策略
TensorFlow笔记--学习率衰减
寒江共雪
11-30 526
TensorFlow笔记--求解二次函数最小值对应的值 __init __（self，initial_value = None， trainable = True，collections = None， validate_shape = True， caching_device = None， name = None， variable_def = None， dtype = None， expe...
深度学习的权重衰减是什么_深度学习-学习率衰减策略
weixin_35949264的博客
01-03 1562
梯度下降算法需要我们指定一个学习率作为权重更新步幅的控制因子，常用的学习率有0.01、0.001以及0.0001等，学习率越大则权重更新。一般来说，我们希望在训练初期学习率大一些，使得网络收敛迅速，在训练后期学习率小一些，使得网络更好的收敛到最优解。下图展示了随着迭代的进行动态调整学习率的4种策略曲线：上述4种策略为自己根据资料整理得到的衰减类型：指数衰减、固定步长的衰减、多步长衰、余弦退火衰减。...
TensorFlow实现指数衰减学习率的方法
09-18
- `decay_steps`: 学习率衰减的速度，通常表示完整遍历一次训练数据所需的步数。 - `decay_rate`: 学习率衰减的比例。 - `staircase`: 是否采用阶梯式衰减（布尔值）。若为`True`，则在每个`decay_steps`周期结束后...
基于Tensorflow深度学习框架的手写体数字识别模型优化及应用.pdf
08-18
在本文中，我们将讨论基于TensorFlow深度学习框架的手写体数字识别模型优化及应用。首先，让我们从深度学习和TensorFlow框架的基础知识开始。 深度学习是人工智能领域的一个分支，它试图模拟人脑处理数据的方式进行...
学习率调整策略，学习率预热（warmup）和学习率衰减（Learning Rate Decay）
githubcurry
07-06 8530
学习率策略：学习率预热（warmup）和学习率衰减（Learning Rate Decay）通过这样的学习率预热机制，可以使模型在训练初期更好地适应数据，提高训练的稳定性和性能。根据实际需求，可以根据预热阶段的迭代次数、初始学习率和最终学习率来调整预热效果。需要注意的是，学习率 warm-up 的设置可以根据实际情况进行调整。如果初始学习率过大或 warm-up 过短，可能会导致模型训练不稳定或出现梯度爆炸的问题；而如果初始学习率过小或 warm-up 过长，可能会导致模型训练速度过慢。因此，建议根据具体任
PyTorch Cookbook（常用代码段整理合集）
风中落泪的花
05-14 719
https://zhuanlan.zhihu.com/p/59205847?
卷积神经网络的深入理解-最优化方法（梯度下降篇）（持续更新）
hjkdh的博客
01-19 3128
卷积神经网络的深入理解-最优化方法（梯度下降方法）（持续更新）一、更新方向1、随机梯度下降SGD2、动量法3、Nesterov accelerated gradient法（NAG法）二、更新学习率1、Adagrad法三、更新学习率+更新方向1、Adam法 说起最优化方法，我们首先要知道优化目标是什么，优化目标有凸函数和非凸函数两种，而我们要尽可能的寻找相对小的值 凸函数全局最小值=局部最小值 非凸函数包含许多局部最小值 那么更新方式有几种呢，就如我们下山一样，取决于我们所走的方向和每一步所走的距离，即学
常见学习率衰减方式
xu_fu_yong的专栏
07-15 9478
学习率 学习率的作用 ​ 在机器学习中，监督式学习通过定义一个模型，并根据训练集上的数据估计最优参数。梯度下降法是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代，并在每一步中最小化成本函数（cost 来估计模型的参数。学习率 (learning rate)，在迭代过程中会控制模型的学习进度。 ​ 在梯度下降法中，都是给定的统一的学习率，整个优化过程中都以确定的步长进行更新， 在...
【深度学习】(10) 自定义学习率衰减策略（指数、分段、余弦），附TensorFlow完整代码
博观而约取，厚积而薄发
04-28 6486
大家好，今天和大家分享一下如何使用 TensorFlow 自定义 指数学习率下降、阶梯学习率下降、余弦学习率下降 方法，并使用 Mnist数据集验证自定义的学习率下降策略。 创建的自定义学习率类方法，需要继承 tf.keras.optimizers.schedules.LearningRateSchedule 1. 指数学习率下降 指数学习率下降公式为： 其中代表初始的学习率，代表学习率衰减系数，代表epoch，即每次迭代学习率衰减一次 以初始学习率，学习率衰减系数，为例指数学...
tensorflow中常用学习率更新策略
热门推荐
牧野的博客
04-20 2万+
神经网络训练过程中，根据每batch训练数据前向传播的结果，计算损失函数，再由损失函数根据梯度下降法更新每一个网络参数，在参数更新过程中使用到一个学习率（learning rate），用来定义每次参数更新的幅度。过小的学习率会降低网络优化的速度，增加训练时间，过大的学习率可能导致网络参数在最终的极优值两侧来回摆动，导致网络不能收敛。实践中证明有效的方法是设置一个根据迭代次数衰减的学习率，可以兼顾训...
深度学习模型训练中学习率的衰减方式
qq_44876051的博客
07-28 3345
学习率 1. 学习率的作用 在机器学习中，监督式学习通过定义一个模型，并根据训练集上的数据估计最优参数。梯度下降法是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代，并在每一步中最小化成本函数（cost 来估计模型的参数。学习率 (learning rate)，在迭代过程中会控制模型的学习进度。 在梯度下降法中，都是给定的统一的学习率，整个优化过程中都以确定的步长进行更新， 在迭代优化的前期中，学习率较大，则前进的步长就会较长，这时便能以较快的速度进行梯度下降，而在迭代优化的后期，逐步减
learning rate
06-01
学习率（Learning rate）是深度学习优化算法中的一个重要参数，指的是每次迭代时，模型参数更新的步长大小。在训练神经网络时，我们通常使用梯度下降法来最小化损失函数，而学习率决定了每次更新参数时更新的幅度，过大或者过小的学习率都可能导致训练不收敛或者收敛速度过慢。因此，选择合适的学习率很关键。通常，学习率需要进行调参，可以通过网格搜索等方法找到最优的学习率。另外，也有一些自适应学习率的优化算法，如Adagrad、Adam等，可以自动调整学习率大小。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值