机器学习中优化算法

SGD

特点：它是最基本也是最基础的梯度下降算法

SGD-M( Momentum)

特点：例如，如果动量参数是0.9，我们就把一个时间步前的梯度乘以0.9，两个时间步前的梯度乘以0.9*0.9 = 0.81，三个时间步前的梯度乘以0.9 = 0.729，以此类推，最后，将所有这些添加到当前时间步长的梯度中，以获得当前时间步的总权重更新。

RMSProp

RMSProp算法不是像AdaGrad算法那样暴力直接的累加平方梯度，而是加了一个衰减系数来控制历史信息的获取多少

Adam

Adam 可以认为是 RMSprop 和 Momentum 的结合,在 Adagrad (RMSProp是Adagrad的改进)中， 是单调递增的，使得学习率逐渐递减至 0，可能导致训练过程提前结束。为了改进这一缺点，可以考虑在计算二阶动量时不累积全部历史梯度，而只关注最近某一时间窗口内的下降梯度。根据此思想有了 RMSprop。
参考知乎：https://zhuanlan.zhihu.com/p/32626442

Resnet

1. 解决随着网络层数越多，网络结构越深，梯度爆炸梯度消失的问题。
2. 解决随着网络层数越多，网络结构越深，网络退化的问题
   参考博客讲解：https://www.bilibili.com/video/BV1T7411T7wa?from=search&seid=1879396105190151950