优化算法3,4--Adagrad算法与RMSProp算法

最新推荐文章于 2024-10-23 10:08:09 发布

chenjiale5

最新推荐文章于 2024-10-23 10:08:09 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习

本文链接：https://blog.csdn.net/chenjiale5/article/details/98097764

本文介绍了Adagrad优化算法的基本思想，它通过调整学习率来避免参数更新的震荡。Adagrad的问题在于后期学习率过小导致收敛困难。为解决这个问题，RMSProp提出引入指数衰减平均，从而改善了学习率的动态调整，使得模型能够更好地收敛。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Adagrad
思想：如果一个参数的梯度一直都非常大，就让它的学习率变小一点，防止震动，反之，则让其学习率变大，使其能更快更新
做法：学习率由下列式子所得

+后的参数是为了防止分母等于0，一般取10的-10次方
对每个参数，初始化一个变量s=0，每次参数更新时，将梯度平方求和累加到s上
所以梯度越大，累加得s越大，学习率越小
缺点：到后期，分母越来越大，学习率会变得较小，无法较好的收敛

from torch.utils.data import DataLoader
from torch import nn
from torch.autograd import Variable
import time
import matplotlib.pyplot as plt
import numpy as np
import torch
from torchvision.datasets import MNIST

def data_tf(x):
    x = np.array(x, dtype='float32') / 255
    x = (x - 0.5) / 0.5
    x = x.reshape((-1,))
    x = torch.from_numpy(x)
    return x

train_set = MNIST('./data', train=True, transform=data_tf, download=True)
test_set = MNIST('./dat