RMSprop优化算法

1.前提

如图所示，梯度下降算法中，我们假设横轴代表W的方向，纵轴代表b的方向，我们想要减缓消除纵轴上的摆动，加快或保持横轴上的移动。此时我们可以采用RMSprop。

2.RMSprop

我们先看公式：

dw表示在横轴方向上的变化，横轴上变化量较小，所以dw的二次方数值较小，则Sdw的数值较小；db表示纵轴方向上的变化，纵轴上变化量较大，所以db的二次方数值较大，则Sdb的数值较大。
w被一个较小的数消除，w变大，b被一个较大的数相除，b变小如图所示，绿色代表RMSprop。

这样就实现了减缓纵轴的震荡，加快横轴的速度。