【机器学习300问】84、AdaGrad算法是为了解决什么问题？

小oo呆

已于 2024-05-10 22:14:47 修改

阅读量774

点赞数 31

分类专栏：【机器学习】文章标签：机器学习算法人工智能

于 2024-05-10 19:32:28 首次发布

本文链接：https://blog.csdn.net/qq_39780701/article/details/138677436

版权

【机器学习】专栏收录该内容

97 篇文章 19 订阅

订阅专栏

神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化。因为参数空间非常复杂，无法轻易找到最优解，而且在深度神经网络中，参数的数量非常庞大，导致最优化问题更加复杂。

为了找到最优参数，我们可以采取随机梯度下降算法（SGD）来一次次沿着梯度方向更新参数，逐渐靠近最优参数。SGD是个简单的方法但它有局限性，所以发明了Momentum、AdaGrad等改良的梯度下降算法。

关于SGD的局限性，我在之前的篇文章中写过，这里给出链接后就不展开啦！

基础梯度下降法：缓慢探索的徒步者http://t.csdnimg.cn/XnxSX

一、学习率衰减

在神经网络的学习中，学习率 $\eta$ 的值很重要。学习率过小，会导致学习花费过多时间；反过来学习率过大，则会导致学习发散而不能正确进行。关于学习率的有效技巧中，有一种被称之为学习率衰减的方法，它的基本思想是在训练初期使用较大的学习率以快速接近最优解，随着训练的进行，逐渐减小学习率，使得模型能够更细致地调整参数，避免因过大的学习率而错过最优解或导致发散。

二、AdaGrad算法的原理

（1）通过举例来感性认识

想象一下，AdaGrad算法就像是一个细心的园丁，负责照顾一片有着各种不同植物的花园。在这个花园里，每株植物代表模型中的一个参数，而花园的繁荣程度则对应着我们的模型性能。园丁的目标是让花园长得茂盛，但他不能给所有植物浇一样的水，因为有的植物喜湿，有的耐旱。

在传统的梯度下降中，就好比是用同一壶水均匀地浇灌整个花园，不管植物的具体需求。但AdaGrad这位智慧的园丁不同，他手里拿着一本详细的日记，记录了每株植物过去的浇水情况（即梯度的大小）。当来到新的一天，他查看每株植物的需水量（梯度），并参考之前的浇水记录，为每一株植物精细调整水量——对于那些过去经常被大量浇水（梯度变化大）的植物，这次就只给一点点水，以免淹死；而对于那些很少得到水分（梯度变化小）的植物，则慷慨地多浇一些，帮助它们更好地成长。

这样做有什么好处呢？首先，它确保了对每株植物（参数）的关照恰到好处，不会因为过度或不足的调整而导致整个花园（模型）的不平衡。其次，它能有效处理花园中那些生长环境差异大的植物，就像深度学习模型中参数的重要性各不相同一样，AdaGrad能够根据实际情况给予最合适的调整。

（2）通过定义来理性认识

Adagrad（ Adaptive Gradient 的缩写），即自适应梯度算法，是一种先进的梯度下降优化方法，特别适用于处理稀疏数据和具有特征数量庞大的问题。它通过自适应地调整每个参数的学习率来优化模型训练过程，以应对不同参数在不同时间步可能需要不同学习速率的情况。

Adagrad的更新规则定义如下：

对于目标函数 $J(\theta)$ ，计算每个参数 $\theta_i$ 的梯度 $g_{t,i}$
对所有参数计算梯度平方的累积和 $G_{t,i} = G_{t-1,i} + g_{t,i}^2$
更新每个参数，其中 $\eta$ 是全局学习率， $\epsilon$ 是一个小的平滑项（如 $10^{-8}$ ）防止除以零： $\theta_{t+1,i} = \theta_{t,i} - \frac{\eta}{\sqrt{G_{t,ii} + \epsilon}} \cdot g_{t,i}$

① 自适应是如何实现的？

符号	解释
$\theta_{t,i}$	在时刻 $t$ 的第 $i$ 个参数
$g_{t,i}$	在时刻 $t$ 对应 $\theta_{t,i}$ 的梯度
$\eta$	初始学习率
$\epsilon$	避免分母为零而加入的一个很小的平滑项
$G_{t,ii}$	是一个对角矩阵，其中对角元素 $G_{t,ii}$ 是至时刻 $t$ 为止所有时刻对应的 $g_{t,i}$ 的平方和。

自适应学习率的实现机制体现在 $G_{t,ii}$ 上，它随着时间累加每个参数的梯度平方。随着训练的进行，每个参数的梯度值会被平方并累加到 $G_{t,ii}$ 中。

如果参数的梯度值一直很大，其平方值会大幅增加 $G_{t,ii}$ 的值，造成学习率下降，即 $\frac{\eta}{\sqrt{G_{t,ii}}}$ 减小，避免这个参数在后续学习过程中作出较大的调整。
如果参数的梯度值较小或稀疏（不经常更新）， $G_{t,ii}$ 的值增长缓慢，这会导致该参数的学习率 $\frac{\eta}{\sqrt{G_{t,ii}}}$ 相对较大，允许模型在学习这个参数时做出更大的步伐。

② 为什么要将梯度进行平方？

放大梯度效应：通过平方操作，小的梯度值会变得更小，而大的梯度值会被放大。这意味着对于频繁更新（通常梯度较大）的参数，其累积的平方和会迅速增长，导致这些参数的学习率下降得更快。这有助于在训练的早期快速调整那些对损失有大的影响的参数。
逐步降低学习率：累积的平方梯度和会在每次迭代时增加，作为学习率调整项的分母，随着训练的进行，累积的量会使得学习率逐步降低。参数的更新步长会随着迭代不断减小，有利于在接近最优解时提供更精细的调整，减少过度更新导致的振荡。

③ 为什么又要对梯度平方累加和开方？

缓解梯度平方累积过快：由于梯度是平方后累加的，会导致累积和很快变大，从而使学习率过快减小到非常小的程度。开方是为了缓和这种累积效应，避免学习率降低得过于急剧，这样可以在长时间的迭代训练中持续地进行参数更新。
保持数值稳定性：开方操作可以保证梯度更新的规模适中，防止由于累积平方梯度的巨大值导致的数值不稳定问题。换句话说，它为算法引入了一种形式的数值正则化。
相对梯度尺度调节：开方可以使累积的梯度影响更加平滑，算法对各个参数的更新更加敏感。它使得参数更新步伐相对于其梯度的尺度和迄今为止的梯度历史进行调节，从而实现更加精确的参数更新控制。
单位一致性：由于累加的是梯度的平方，直接使用累积值会破坏原始梯度的单位（变成了梯度单位的平方），开方可以将单位恢复回梯度的原始单位，保持单位的一致性。

Adagrad算法随着梯度的累积，逐渐减小学习率，适用于梯度下降的早期阶段，能更快地逼近目标函数的最小值。但它也可能会过早地降低学习率，导致优化过程在学习后期减缓。