Momentum and Learning rate decay

Momentum 原理

上面的是梯度下降方法的核心公式，第三个式子是加了Momentum势能的公式

可以发现Momentum只是在原本公式的基础上加上了一项“上一步的向量”，也就是说在Momentum中这一步往哪边走走多少不光取决于梯度下降的计算结果，还取决于上一步的方向和大小

无Momentum的普通梯度下降方法的直观理解

 可以看到轨迹在一开始比较散乱，而且最终也并没有找到全局最优解，只是找到了一个局部最优点

有Momentum的普通梯度下降方法的直观理解