学习率(learning rate)

NNothing丶

已于 2023-04-20 18:11:05 修改

阅读量242

点赞数

分类专栏： Tensorflow 神经网络文章标签：神经网络 python 机器学习

于 2023-04-20 17:25:51 首次发布

本文链接：https://blog.csdn.net/weixin_39014212/article/details/130271273

版权

Tensorflow 同时被 2 个专栏收录

7 篇文章 0 订阅

订阅专栏

神经网络

4 篇文章 1 订阅

订阅专栏

学习率(learning rate)

$\large W_{_(t+1){}} = W_{t} - lr * \frac{\partial loss}{\partial W_{t}}$

更新后的参数 = 当前参数 - 学习率 * 损失函数的梯度(偏导数)

损失函数:

$\large loss = (w + 1)^{^{2}}$

指数衰减学习率

可以先用较大的学习率，快速得到最优解，然后逐步减小学习率，使模型在训练后期稳定。

指数衰减学习率 = 初始学习率 * 学习率衰减率 ^（当前轮数 / 多少轮衰减一次）

epoch = 40
LR_BASE = 0.2   # 初始学习率
LR_DECAY = 0.99  # 学习衰减率
LR_STEP = 1  # 多少轮衰减一次

for epoch in range(epoch):
    lr = LR_BASE * LR_DECAY ** (epoch / LR_STEP)
    with tf.GradientTape() as tape:
        loss = tf.square(w + 1)
    grads = tape.gradient(loss, w)

    w.assign_sub(lr * grads)
    print("After %s epoch, w is %f, loss is %f, lr is %f" % (epoch, w.numpy(), loss, lr))