优化算法-3：RMSProp算法和Adam算法

本文来自于网易云课堂

RMSProp算法

RMSProp算法全称root mean square prop算法。

从前面的例子可以知道，当我们利用梯度下降法的时候，虽然横轴也在前进，但纵轴摆动太大。假设纵轴是b横轴是w，假如我们想减弱b的幅度，加快或者不减少w的前进，RMSProp算法就可以起到这个作用。
其执行过程是这样的：

那么该算法是怎么起作用的呢？对于b方向，我们想减少b的摆动。所以对于$s_{dw}$，$s_{db}$，我们希望$s_{dw}$较小，这样在$w := w - \alpha \frac{dw}{\sqrt s_{dw}}$除数就会较小，那么更新的就会大一些，同样$s_{db}$较大，这样在$b := b - \alpha \frac{db}{\sqrt s_{db}}$除数就会较大，那么更新的就会小一些，减少了纵轴的摆动。
所以，RMSProp和Momentum算法有相似的一点是都可以消除下降过程中的摆动。

w和b只是为了方便展示才使用的，实际上对于高维度w来说，可能纵轴是w1，w3..而横轴是w2，w4等。
这个算法中的$\beta$和动量梯度下降法的不是同一个。
为了防止$s_{dw}$接近为0，一般会在$s_{dw}$加上一个很小的$\epsilon$,比如说$10^{-8}$。这只是为了保证数值能稳定一些。

Adam算法

在深度学习的历史上，包括许多志明研究者在内提出了优化算法，并很好的解决了一些问题。但随后这些优化算法被指出并不能一般化，不能适用于多种神经网络。时间久了，深度学习圈子里的人开始多少有些质疑全新的算法。很多人觉得动量下降算法很好用，很难找到更优化的算法了。所以RMSProp和Adam算法是少有的经受人们质疑的2种算法，已被证实可以适用不同的深度学习结构。
Adam算法基本上是将momentum和rmsprop结合在一起。


Adam，读作/艾德穆，不是额呆穆/（音标不会打）算法是非常常用的算法，其全称是Adaptive Moment Estimation。$\beta_1$用来计算微分$dw$，叫做第一矩（first moment），$\beta_2$用来计算平方数的指数加权平均数，叫做第二矩（second moment），所以Adam的名字由此而来。