吴恩达神经网络和深度学习-学习笔记-12-RMSprop算法

全称是root mean square prop算法

我们假设纵轴方向为b，横轴方向为W。我么希望纵轴slow，横轴fast。
对于第t次迭代，公式如上图。
我们希望W方向fast，B方向slow，所以dW小一些，db大一些，这样在W上会除一个较小的数，在b上会除一个较大的数，从而加快横轴的变化而减慢纵轴的变化，从而得到绿色的曲线。

RMSprop算法一方面能将找到成本函数J最小值的路径从紫色变为绿色，另一方面使得我们可以采用更大的学习率从而加快学习。

另外需要注意的是，这里把W，b作为横纵轴完全是便于讲解。在实际的高位中，可能是W1，W2，W3作为纵轴，W4，W5作为横轴呢。实际上，dW是一个高维度参数向量，db也是一个高维度参数向量

在实际中，我们一般在分母的根号下加一个epsilon（10^-8会比较好），来防止分母趋于0时W和b会blow up。