动量梯度下降法： Gradient Descent With Momentum

动量梯度下降法：  Gradient  Descent With  Momentum

1.指数加权移动平均：

 

2.指数加权平均的偏差修正：

如图所示：紫色图为这些点集的加权平均，但很显然在刚开始的时候，加权平均不能很好估测数据。所以我们需要通过偏差修正加权平均。

3.动量梯度下降法：  

 当我们使用梯度下降算法进行训练的时候，我们的训练过程会出现左图所示， 慢慢摆动到最小值，这种上下波动减慢了梯度下降法的速度，你就无法使用更大的学习 率，如果你要用较大的学习率（紫色箭头），结果可能会偏离函数的范围如图右图所示，为了避免摆动过 大，你要用一个较小的学习率。

5.动量梯度下降法公式：

6.由指数加权移动平均理解动量法¶