吴恩达深度学习笔记整理——RMSprop算法

原理：

通过对梯度进行加权平均来计算梯度的变化率。这个加权平均称为“动量”，它可以帮助RMSprop在下降到局部最小值时保持方向。RMSprop还使用一个衰减因子来控制动量的更新速度。

具体步骤:

迭代进行Mini-batch，针对每次迭代t:

     

分析：

这样当db变化越大，sdb也会变大，那么由于计算b时，需要除以√Sdb，进而整体数值越小，那么缩小了b的震荡幅度，w也是类似的
为了确保√sdw和√sdb不为0，则训练过程将sdw+E(epsilon)，E(epsilon)是一个非常小的非0的正数，例如:10……-8，保证数据稳定
 

利用加权平均值调整了权重值和偏差值的震荡幅度，进而提高了训练的稳定性和速度。