深度学习中优化算法的演进历程

随机梯度下降（SGD）

 

缺点： 在训练过程中可能会错误标记数据，或者有数据和正常数据差别很大，使用这些数据进行训练，求得的梯度也会有很大的偏差，因此，SGD在训练过程中会有很大的随机性。

 

解决方法：选择一批量的数据，一起求梯度和，再求均值。也就是一个batch更新一次权重。如下图所示：

 

 

以上的两种方法的缺点是：计算量大，更新速度慢

解决方法：采用SGD+Momentum

Momentun 意思为动量，指的是速度。引入动量可以加速我们的学习过程。方法如下：

可以看到，更新参数的步长，不仅依赖于本次梯度的大小，还取决于过去的速度。速度V是每轮训练累计的。

缺点：以上的方法都是使用固定不变的学习率。如果数据很复杂，我们要因地适宜，动态的调整学习率。

 

解决办法：adaGrad(自适应梯度算法)，和上面方法不同是，这中方法会把历史梯度平方加起来

 

 

在累计的梯度较小时，会方法学习率，加快训练，在累计的梯度较大时，会放缓网络的训练。

缺点：容易受到过去梯度的影响，陷入过去“无法自拔”，因为梯度很容易累积到一个很大的值，慢慢的网络权重就不会发生变化了。

解决方法：RMSProp(均方根支柱)，这个方法在adagrad的基础上引入了衰减因子，RMS在梯度累积的时候，会对“过去”和“现在“做一个平衡，通过超参数进行调节。超参数一般设置成0.9

 

 

 

到目前为止，我们已经看到了RMSProp和动量两种方法，动量加速我们对最小值方向上的搜索，但RMSProp会阻碍这一点，因此提出一种adam的方法，该方法是深度学习中最流行用的方法。

超参数1 一般取0.9 超参数2 取0.99