深度学习的优化

一些符号：
${\theta }_t$：模型参数：时间步长
$▽L({\theta }_t)$或者$g_t$:${\theta }_t$的梯度，用于计算${\theta }_{t+1}$
$m_{t+1}$:动量从0到t累积,用于计算${\theta }_{t+1}$，记录前面时刻的梯度

如上图所示：
$x_t$:输入
${\theta }_t$：时刻t的模型参数
$y_t$:输出
${\hat{y}}_t^{}$:输出对应的标签
$L({\theta }_t;x_t)$:输出值与标签所得出的损失值
优化的意义：
找到θ，使得$su{m}_{x}L(\theta ;x)$取得最小

几个常见的优化算法：

随机梯度下降：

带动量的梯度下降：

结果不只取决于当前梯度，还与之前的值有关系。

如上图所示，如果简单的使用梯度下降,在$\frac{\partial L}{\partial w}=0$处，就不会再继续移动，但是，当使用有动量的随机梯度下降，会受动量的影响，继续移动。

Adagrad

如图所示Adagrad的η，加上了一个分母,为了防止前几个时间点的梯度过大，出现梯度爆炸的情况，反而得到更差的结果。

RMSProp

RMSProp是Adagrad的改进，最大的区别是分母部分，不会无止境的增加。

Adam
Adam综合了SGDM算法和RMSProp算法：