指数加权平均与动量梯度下降法

指数加权平均(Exponentially Weighted averages)

$$上图的v_t就是加权平均数，\frac{1}{1-\beta }表示其代表多少天的加权平均数$$
$$其由来就是指数加权经过这么\frac{1}{1-\beta }天叠加后已经接近于0了，后面就无意义了$$

$$\beta 取中间的值，例如上面所取的0.9，会更利于求平均值$$

理解指数加权平均

$$例如，对于V_{100}，我们设置\beta =0.1那么对于下面的式子来说$$

$$V_{100}=0.1{\theta }_{100}+0.1\times 0.9\cdot {\theta }_{99}+0.1\times (0.9{)}^2\cdot {\theta }_{98}+0.1\times 0.9^3\cdot {\theta }_{97}$$

可以看到，其样式就是一个指数加权形式的平均数计算

实现指数加权平均数

我们为什么要使用指数加权平均数？

其编写代码过程中在计算机内存中只占据一行代码的内存，不同于传统的平均数计算方法，需要将所有数相加除以size，这种计算方式对于一个大型机器学习项目来说更加高效.

指数加权平均的偏差修正(bias correction)

当我们使用这个公式去计算时

前两天的值算出来会很小很小 $$V2=0.0196{\theta }_1+0.02{\theta }_2$$

很明显这是不符合实际的

所以我们需要想办法对初期的平均值进行修正 于是我们想到了下面

$$将V_t除以1-{\beta }^t，这样不仅解决了前期偏差的问题，而且在后期，随着t的增大1-{\beta }^t会接近于0，从而没有影响$$

所以，现在我们又有了一个新的超参数 β.

动量梯度下降法(Momentum gradient descent)

其与传统的batch gradient descent 的区别就在于 在反向传播的过程中

我们还需要计算一次梯度的加权平均数

再进行批梯度下降

其优化体现每次梯度下降时纵轴的振幅变小了(因为我们对梯度求了指数加权平均数，大家可以对照上面上个二维图像，对有上有下求平均数)也就是降低了noisy，而横轴就算计算平均值也没有太大的影响，从而使得整个优化效率或者说速度 大大提升了.

图片来自李宏毅教授的书

dW可以被理解为加速度
可见 如果我们超参数β取为0.9 1-β就是0.1
那么每一次梯度计算都会考虑前面累积的梯度值，且其权重占据0.9
而这一次经过反向传播计算出的梯度dw所占的权重只有0.1
这样就保证了整个优化方向的稳定性
如果dw和原来方向不同 那么也影响不大
如果dw和原来积累方向相同 那么就又进一步加强积累 也正反馈于后面的积累方向的准确性

几个实现的细节:

1. 对于超参数β 一般默认都取值为0.9

2. 所以，对于这个新的算法，梯度下降需要调整的超参数就成为了两个 learning rate α和 权重 β

3. 初始化对于新的梯度V_dw和V_db其都是元素为0的矩阵 size与dw db相同 也与W相同

4. 对于Momentum gradient descent，可以不考虑偏差修正(bias correction)的问题，因为我们一般设置β值为0.9，其代表我们每次考虑10个梯度样本，所以就不太需要考虑初始状态了.