机器学习常用数值优化算法

假设损失函数为 $J(\theta )$，参数为 $\theta \in R^n$

一阶优化算法

SGD (随机梯度下降）

参数更新公式
$${\theta }_{t+1}={\theta }_t-\alpha \nabla J({\theta }_t)$$
其中，$\alpha$为学习率。
缺点： SGD靠近极小值时收敛速度会很慢，如果learning rate设置过大，还容易在极小值左右震荡，而无法达到极小值。

SGD with Momentum

目的： 加快梯度下降的收敛速度，并减少震荡。
参数更新公式：
$$\begin{gathered} v_{t+1}=\mu v_t-\alpha \nabla J({\theta }_t) \\ {\theta }_{t+1}={\theta }_t+v_{t+1} \end{gathered}$$
其中，$\mu$是动量的衰减项，$\alpha$是学习率。
带动量的SGD能够很好的解决”Z“字形下降的case。如图：

对Y方向，希望学习率小一点从而减少抖动；而对X方向，又希望学习率大一些能够加快学习速度。而这种期望对于SGD算法的过程是矛盾的。如果加入动量的话，那么SGD算法在Y轴上的上下波动能够得到有效抑制，而在X方向又能够累计有效梯度，加快收敛速度。

SGD with Nesterov Momentum

参数更新公式：
$$\begin{gathered} v_{t+1}=\mu v_t-\alpha \nabla J({\theta }_t+\mu v_t) \\ {\theta }_{t+1}={\theta }_t+v_{t+1} \end{gathered}$$
其中，$\mu$是动量的衰减项，$\alpha$是学习率。
与SGDM区别为其梯度是前进一步之后的梯度，而非当前梯度，形象化的解释就是这次移动时，考虑未来的可能移动步伐，如果未来的移动步伐仍较大，则这次也可以多走一些。但如果未来的步伐缩小了，那不妨从这步开始就缩小步伐。
从数学上的理解则如下：
https://zhuanlan.zhihu.com/p/22810533

上述的方法都依赖于人工设定的学习率，所以下述几个方法，从动态设置学习率的角度入手提升SGD的效果

AdaGrad

AdaGrad根据历史的梯度值动态调整学习率，具体地，其更新公式如下：