Dive-into-DL-PyTorch项目解析：深入理解AdaGrad优化算法

Dive-into-DL-PyTorch项目解析：深入理解AdaGrad优化算法

Dive-into-DL-PyTorch 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。 项目地址: https://gitcode.com/gh_mirrors/di/Dive-into-DL-PyTorch

引言

在深度学习模型的训练过程中，优化算法的选择对模型性能有着至关重要的影响。传统梯度下降算法使用统一的学习率更新所有参数，这在处理不同特征尺度时往往效果不佳。本文将深入解析Dive-into-DL-PyTorch项目中介绍的AdaGrad优化算法，帮助读者理解其原理、实现及应用场景。

传统优化算法的问题

在标准梯度下降算法中，所有参数使用相同的学习率进行更新。考虑一个简单的二维目标函数f(x₁,x₂)=0.1x₁²+2x₂²，其中x₁和x₂的梯度分别为∂f/∂x₁=0.2x₁和∂f/∂x₂=4x₂。可以看到，x₂的梯度变化幅度远大于x₁。

这种情况下，如果选择较大的学习率，可能导致x₂方向上的参数更新过大而发散；如果选择较小的学习率，又会使x₁方向上的收敛速度过慢。这种不同参数梯度差异大的情况在实际问题中非常常见。

AdaGrad算法原理

AdaGrad（Adaptive Gradient）算法由Duchi等人在2011年提出，其核心思想是为每个参数自适应地调整学习率。具体来说：

1. 算法维护一个状态变量sₜ，记录历史梯度平方的累加和
2. 每个参数的学习率与其历史梯度大小成反比
3. 梯度较大的参数将获得较小的学习率，梯度较小的参数将获得较大的学习率

数学表达式如下：

sₜ = sₜ₋₁ + gₜ ⊙ gₜ
xₜ = xₜ₋₁ - (η/√(sₜ + ε)) ⊙ gₜ

其中：

• gₜ是当前时间步的梯度
• η是基础学习率
• ε是为数值稳定性添加的小常数
• ⊙表示按元素相乘

AdaGrad算法特点

1. 自适应学习率：每个参数有独立的学习率，根据其历史梯度自动调整
2. 梯度平方累加：sₜ随时间不断增大，导致学习率单调递减
3. 稀疏特征优化：特别适合处理稀疏数据，对不频繁出现的特征给予更大的更新

算法实现与实验

我们通过一个二维示例来直观展示AdaGrad的行为：

def adagrad_2d(x1, x2, s1, s2):
    g1, g2, eps = 0.2 * x1, 4 * x2, 1e-6
    s1 += g1 ** 2
    s2 += g2 ** 2
    x1 -= eta / math.sqrt(s1 + eps) * g1
    x2 -= eta / math.sqrt(s2 + eps) * g2
    return x1, x2, s1, s2

当学习率η=0.4时，参数收敛平稳但后期移动幅度较小；当η=2时，参数能更快逼近最优解。这说明基础学习率的选择仍然重要。

实际应用中的实现

在PyTorch中，我们可以从零实现AdaGrad：

def init_adagrad_states():
    s_w = torch.zeros((features.shape[1], 1), dtype=torch.float32)
    s_b = torch.zeros(1, dtype=torch.float32)
    return (s_w, s_b)

def adagrad(params, states, hyperparams):
    eps = 1e-6
    for p, s in zip(params, states):
        s.data += (p.grad.data**2)
        p.data -= hyperparams['lr'] * p.grad.data / torch.sqrt(s + eps)

也可以直接使用PyTorch内置的Adagrad优化器：

optimizer = torch.optim.Adagrad(model.parameters(), lr=0.1)

AdaGrad的优缺点分析

优点：

1. 自动适应不同参数的更新需求
2. 特别适合稀疏数据和特征尺度差异大的场景
3. 减少了手动调整学习率的负担

缺点：

1. 学习率单调递减可能导致后期训练停滞
2. 历史梯度平方和持续累积可能导致学习率过早变得过小
3. 对初始学习率的选择仍然敏感

改进与变种

针对AdaGrad学习率单调下降的问题，后续研究者提出了多种改进算法：

• RMSProp：引入衰减因子，只考虑最近一段时间的梯度
• Adam：结合动量法和RMSProp的思想

总结

AdaGrad算法通过为每个参数维护独立的学习率，有效解决了传统梯度下降中不同参数梯度差异大的问题。虽然它存在学习率单调下降的缺陷，但其自适应学习率的思想深刻影响了后续优化算法的发展。理解AdaGrad的工作原理有助于我们更好地选择和使用各种优化算法。

在实际应用中，对于稀疏数据或特征尺度差异大的问题，AdaGrad仍然是一个值得考虑的选择。同时，了解其局限性也能帮助我们在它表现不佳时快速转向其他更适合的优化算法。

Dive-into-DL-PyTorch 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。 项目地址: https://gitcode.com/gh_mirrors/di/Dive-into-DL-PyTorch