动量梯度下降法（Gradient descent with Momentum）

最新推荐文章于 2024-08-01 19:32:58 发布

bestrivern

最新推荐文章于 2024-08-01 19:32:58 发布

阅读量4.1k

点赞数

分类专栏： deep learning

本文链接：https://blog.csdn.net/bestrivern/article/details/86104773

版权

deep learning 专栏收录该内容

49 篇文章 30 订阅

订阅专栏

如果你要优化成本函数，函数形状如图，红点代表最小值的位置，假设你从这里（蓝色点）开始梯度下降法，如果进行梯度下降法的一次迭代，无论是batch或mini-batch下降法，都要进行如图所示的波动，慢慢摆动到最小值，这种上下波动减慢了梯度下降法的速度，你就无法使用更大的学习率，如果你要用较大的学习率（紫色箭头），结果可能会偏离函数的范围，为了避免摆动过大，你要用一个较小的学习率。

另一个看待问题的角度是，在纵轴上，你希望学习慢一点，因为你不想要这些摆动，但是在横轴上，你希望加快学习，你希望快速从左向右移，移向最小值，移向红点。所以使用动量梯度下降法，你需要做的是，在每次迭代中，确切来说在第t次迭代的过程中，你会计算微分dW，db，我会省略上标[l]，你用现有的mini-batch计算dW，db。如果你用batch梯度下降法，现在的mini-batch就是全部的batch，对于batch梯度下降法的效果是一样的。如果现有的mini-batch就是整个训练集，效果也不错，你要做的是计算 $v_{{dW}}= \beta v_{{dW}} + \left( 1 - \beta \right)dW$ ，dW的移动平均数，接着同样地计算 $v_{db}$ ， $v_{db} = \beta v_{{db}} + ( 1 - \beta){db}$ ，然后重新赋值权重， $W:= W -av_{{dW}}$ ，同样 $b:= b - a v_{db}$ ，这样就可以减缓梯度下降的幅度。

例如，在上几个导数中，你会发现这些纵轴上的摆动平均值接近于零，所以在纵轴方向，你希望放慢一点，平均过程中，正负数相互抵消，所以平均值接近于零。但在横轴方向，所有的微分都指向横轴方向，因此横轴方向的平均值仍然较大，因此用算法几次迭代后，你发现动量梯度下降法，最终纵轴方向的摆动变小了，横轴方向运动更快，因此你的算法走了一条更加直接的路径，在抵达最小值的路上减少了摆动。

动量梯度下降法的一个本质，就是它们能够最小化碗状函数，这些微分项，想象它们为你从山上往下滚的一个球，提供了加速度，Momentum项相当于速度。想象你有一个碗，你拿一个球，微分项给了这个球一个加速度，此时球正向山下滚，球因为加速度越滚越快，而因为 $\beta$ 稍小于1，表现出一些摩擦力，所以球不会无限加速下去，所以不像梯度下降法，每一步都独立于之前的步骤，你的球可以向下滚，获得动量，可以从碗向下加速获得动量。

有两个超参数，学习率 $a$ 以及参数 $\beta$ ， $\beta$ 控制着指数加权平均数。 $\beta$ 最常用的值是0.9，平均前十次迭代的梯度。实际上 $\beta$ 为0.9时，效果不错，你可以尝试不同的值，可以做一些超参数的研究，不过0.9是很棒的鲁棒数。

关于偏差修正，所以你要拿 $v_{dW}$ 和 $v_{db}$ 除以 $1-\beta^{t}$ ，实际上人们不这么做，因为10次迭代之后，因为你的移动平均已经过了初始阶段。实际中，在使用梯度下降法或动量梯度下降法时，人们不会受到偏差修正的困扰。当然 $v_{{dW}}$ 初始值是0，要注意到这是和dW拥有相同维数的零矩阵，也就是跟W拥有相同的维数， $v_{db}$ 的初始值也是向量零，所以和db拥有相同的维数，也就是和b是同一维数。