【学习系列6】常见的优化算法

目录

1 常见的优化算法

1.1 梯度下降算法 (batch gradient descent BGD)

1.2 随机梯度下降法(Stochastic gradient descent SGD)

1.3 小批量梯度下降(Mini-batch gradient descent MBGD)

1.4 动量法(Momentum)

1.5 AdaGrad

1.6 RMSProp

1.7 Adam

---

1 常见的优化算法

1.1 梯度下降算法 (batch gradient descent BGD)

每次迭代都需要把所有样本都送入，这样的好处是每次迭代都顾及了全部的样本，做的是全局最优化。

1.2 随机梯度下降法(Stochastic gradient descent SGD)

针对梯度下降算法训练速度过慢的缺点，提出了随机梯度下降算法，随机梯度下降算法算法是从样本中随机抽出一组，训练后按梯度更新一次，然后再抽取一组，再更新一次，在样本量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范回之内的模型了。
torch中的api为: torch.optim.SGD()

1.3 小批量梯度下降(Mini-batch gradient descent MBGD)

SGD相对来说要快很多，但是也有存在问题，由于单个样本的训练可能会带来很多噪声，使征SGD并不是每次迭代都向着整休最优化方向，因此在刚开始训练时可能收敛得很快，但是训练一段时间后就会变得很慢。在此基础上又提出了小批量梯度下降法，它是每次从样本中随机抽取一小批进行训练，而不是一组，这样即保证了效果又保证的速度。

1.4 动量法(Momentum)

mini-batch SGD算法虽然这种算法能够带来很好的训练速度，但是在到达最优点的时候并不能够总是真正到达最优点，而是在最优点附近徘徊。
另一个缺点就是mini-batch SGD需要我们挑选一个合适的学习率，当我们采用小的学习率的时候会导致网络在训练的时候收敛太慢;当我们采用大的学习率的时候，会导致在训练过程中优化的辐度跳过函数的范围，也就是可能跳过最优点。我们所希望的仅仅是网络在优化的时候网络的损失函数有一个很好的收敛速度同时又不至于摆动幅度太大。

所以Momentum优化器刚好可以解决我们所面临的问题，它主要是基于梯度的移动指教加权平均，对网络的参数进行平滑处理的，让梯度的摆动幅度变得更小。

, 表示前一次的梯度

 ,α表示学习率

1.5 AdaGrad

AdaGrad筒法就是将每一个参数的每一次达代的梯度取平方累加后在开方，用全局学习率除以这个数，作为学习率的动态更新，从而达到自适应学习率的效果

为小常数，为了数值稳定大约设置为

1.6 RMSProp

Momentum优化算法中，虽然初步解决了优化中摆动幅度大的问题为了进一步优化损失函数在更新中存在摆动幅度过大的问题，并且进一步加快函数的收敛速度，RMSProp算法对参数的梯度使用了平方加权平均数。

1.7 Adam

Adam (Adaptive Moment Estimation) 算法具将Momentum算法和RMSProp算法结合起来使用的一种算法，能够达到防止梯度的摆幅多大，同时还能够加开收敛速度

1. 需要初始化梯度的累积量和平方累积量 
2. 第t轮训练中，我们首先可以计算得到Momentum和RMSProp的参数更新,Momentum计算的梯度  RMSProp计算的梯度
3. 对其中的值进行处理后，得到：

torch中的api为：torch.optim.Adam()

来张直观的动态图展示上述优化算法的效果：

• 下图描述了在一个曲面上，6种优化器的表现：

下图在一个存在鞍点的曲面，比较6中优化器的性能表现：

• 下图图比较了6种优化器收敛到目标点（五角星）的运行过程

相关推荐： 

【机器学习基础】各种梯度下降优化算法回顾和总结https://mp.weixin.qq.com/s?__biz=MjM5NzEyMzg4MA==&mid=2649466551&idx=7&sn=d5280c99d96c57c69939626a2de405c8&chksm=bec1c4f089b64de6f00213580115ba2b4c581cef3ffcbfa4bfb8ad644e9d57e6513d7979fddd&scene=27