深度模型中的优化(四)、动量(momentum)和Nesterov动量

参考 动量(momentum)和Nesterov动量 - 云+社区 - 腾讯云

一、动量

虽然随机梯度下降仍然是非常受欢迎的优化方法,但其学习过程有时会很慢。动量方法旨在加速学习,特别是处理高曲率、小但一致的梯度,或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均,并且继续沿该方向移动。从形式上看,动量算法引入了变量v充当速度角色------它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称动量来自物理类比,根据牛顿运动定律,负梯度是移动参数空间中粒子的力。动量在物理学上定义为质量乘以速度。在动量学习算法中,我们假设是单位质量,因此速度向量v也可以看作粒子的动量。超参数\alpha \in [0,1)决定了之前梯度的贡献衰减得有多快。更新规则如下:

                                                  v\leftarrow \alpha v-\varepsilon \bigtriangledown _{\theta}(\frac{1}{m}\sum^m_{i=1}L(f(x^{(i)};\theta),y^{(i)}))

速度v积累了梯度元素\bigtriangledown _{\theta}(\frac{1}{m}\sum^m_{i=1}L(f(x^{(i)};\theta),y^{(i)}))。相对于\varepsilon\alpha越大,之前梯度对现在方向的影响也越大。带动量的SGD算法如下所示:

Requires:学习率\varepsilon,动量参数\alpha

Requires:初始参数\theta,初始速度v

      while 没有达到停止准则 do

      从训练集中采包含m个样本\{x^{(1)},...,x^{(m)}\}的小批量,对应目标为y^{(i)}

      计算梯度估计:\small g\leftarrow \frac{1}{m}\sum^m_{i=1}L(f(x^{(i)};\theta),y^{(i)})

      计算速度更新:v\leftarrow \alpha v-\varepsilon g

      应用更新:\theta\leftarrow \theta + v

end while

之前,步长只是梯度范数乘以学习率。现在,步长取决于梯度序列的大小和排列。当许多连续的梯度指向指定相同的方向时,步长最大。如果动量算法总是观测到梯度g,那么它只会在方向-g上不停加速,直到达到最终速度,其中步长大小为:

                                                                           \frac{\varepsilon ||g||}{1-\alpha}

因此将动量的超参数视为1/(1-\alpha)有助于理解。例如,\alpha=0.9对应着最大速度10倍于梯度下降算法。

在实践中,\alpha的一般取值为0.5、0.9和0.99和学习率一样,\small \alpha也会随着时间不断调整。一般初初始值是一个较小的值,随后会慢慢变大。随着时间推移调节\alpha没有收缩\small \varepsilon重要。

我们可以将动量算法视为模拟连续时间下牛顿动力学下的粒子。这种物理类比有助于直觉上理解动量和梯度下降算法是如何表现的。粒子在任意时间点的位置由\small \theta(t)给定。粒子会受到净力\small f(t)。该力会导致粒子加速:

                                                                        \small f(t)=\frac{\partial^2 }{\partial t^2}\theta(t)

与其将其视为位置的二阶微分方程,我们不如引入表示粒子在时间t处速度的变量v(f),将牛顿力学重写为一阶微分方程:

                                                                       \small v(t)=\frac{\partial }{\partial t}\theta(t)  

                                                                       \small f(t)=\frac{\partial }{\partial t}v(t)

由此,动量算法包括通过数值模拟求解微分方程。求解微分方程的一个简单数值方法是欧拉方法,通过在每个梯度方向上具有有限的步长来简单模拟该等式的动力学。这解释了动量更新的基本形式,但具体什么是力呢?力正比于代价函数的负梯度\small -\bigtriangledown _\theta J(\theta)。该力推动粒子沿着代价函数表面下坡方向的方向移动。梯度下降算法基于每个梯度简单地更新一步,而使用动量算法的牛顿方案则使用该力改变粒子的速度。我们可以将粒子视作在冰面上滑行的冰球。 每当它沿着表面最陡的部分下降时,它会积累继续在该力方向上滑行的速度,知道其开始向上滑动为止。

另一个力也是必要的。如果代价函数的梯度是唯一的力,那么粒子可能永远不会停下来。想象一下,假设理想情况下冰面没有摩擦,一个冰球从山谷的一端下滑,上升到另一端,永远来回震荡。要解决这个问题,我们添加一个正比于-v(t)的力。在物理术语中,此力对应于粘性阻力,就像例子必须通过一个抵抗介质,如糖浆。这会导致粒子随着时间推移逐渐失去能量,最终收敛到局部极小值点。

为什么要特别适用-v(t)和粘性阻力呢?部分原因是因为-v(t)在数学上的便利------速度的整数幂很容易处理。然而,其他物理系统具有基于速度的其他类型的阻力。例如,颗粒通过空气时会受到正比于速度平方的湍流阻力,而颗粒沿着地面移动时会受到恒定大小的摩擦力,这些选择都不合适。湍流阻力正比于速度的平方,在速度很小时会很弱,不够强到使例子停下来。非零初始值速度的粒子仅收到湍流阻力,会从初始位置永远地移动下去,和初始位置的距离大概正比于O(logt),因此我们必须使用速度较低幂次的力。如果幂次为零,相当于干摩擦,那么力太大了。当代价函数的梯度表示的力很小但非零时,由过幂次为零,相当于摩擦,那么力太强了。当代建很多户的梯度表示的力很小但非零时,由于摩擦导致的阻力会使得粒子在达到局部极小点之前就停下来。粘性阻力避免了这两个问题。它足够弱,可以使梯度引起的运行直到达到最小,但有足够强,使得梯度不够时可以阻止运动。

二、Nesterov动量

受Nesterov加速度算法提出了动量算法的一个变种。这种情况的更新规则如下:

                                                   \small v\leftarrow \alpha-\varepsilon \bigtriangledown _\theta[\frac{1}{m}\sum^m_{i=1}L(f(x^{(i)};\theta),y^{(i)})]

                                                    \small \theta \leftarrow \theta + v

其中参数\small \alpha\small \varepsilon发挥了和标准动量方法中类似的作用。Nesterov动量和标准动量之间的区别体现在梯度计算上。Nesterov动量中,梯度计算在施加当前速度后。因此,Nesterov动量可以解释为往标准动量方法中添加了校正因子。完整的Nesterov动量算法如下所示,

Requires:学习率,动量参数\small \alpha

Requires:初始参数\small \theta,初始速率\small v

      while 没有达到停止准则 do

      从训练集中采包含\tiny m个样本\small \{ x^{(1)},...,x^{(m)}\}的小批量,对应目标为\small y^{(i)}

      应用临时更新:\small \hat{\theta}\leftarrow \alpha v-\varepsilon g

     应用更新:\small \theta\leftarrow \theta + v

end while

在凸批量梯度的情况下,Nesterov动量将额外误差收敛率从\small O(1/k)(\small k步后)或进到\small O(1/k^2),如Nesterov所示。可惜,在随机梯度的情况下,Nesterov动量没有改进收敛效率。

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wanderer001

ROIAlign原理

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值