momentum梯度下降

正常的梯度下降是：

则梯度下降虽然也是向着最小值（红点）下降，但是按着紫色1号线的轨迹，并且随着迭代次数的增加，a学习率是不断降低的，因此效率并不是很高。
我们希望下降的方向就像红色2号线一样，一路向着最小值快速前进。
这里我们引入加权平均值的概念，比如一系列数N={n1 ,n2, … ,nn}
我们求其加权平均值时：
s_0 = 0
s_1 = t * s_0 + (1 - t) * n1
s_2 = t * s_1 + (1 -t) * n2
… …
这种形式的好处就是，如果N是正负相间的话，求得的s_i的值不会随着i的次数增加而明显的变大，有效解决了紫色1号线上下摆动大的问题。
但是N是同一个符号的话，那么s_i 随着i 的次数增加而不断变大。
根据这个思路，我们将其应用到dw上，即

s：前L-1次的加权均值
因此梯度下降公式变成了：

写的不是太全，竟请原谅,希望大家都有收获！！！