Pytorch中常见的优化算法介绍

常见的优化算法介绍

梯度下降算法（batch gradient descent，BGD）

每次迭代都需要把所有样本都送入，这样的好处是每次迭代都顾及了全部的样本，做的是全局最优

梯度下降：全局最优

随机梯度下降法（Stochastic gradient descent，SGD）

针对梯度下阵算法训练速度过的缺点，提出了随机梯度下降算法，随机梯度下降算法是从样本中随机抽出一组，训练后按梯度更新一次，然后再抽取一组，再更新一次，在样本量极其大的况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。

torch中的api为：torch,optm.SGD()

随机梯度下降：随机地从样本中抽取一个样本进行梯度的更新

小批量梯度下降（Mini-batch gradient descent,MBGD）

SGD相对来说要快很多，但是也有存在问题，由于单个样本的训练可能会带来很多噪声，使得SGD并不是每次迭代都向着整体最优化方向，因此在刚开始训练时可能收敛得很快，但是训练一段时间就会变得很慢。在此基础上又提出了小批量梯度下降法，它是每次从样本中随机抽取一小批进行训练，而不是一组，这样既保证了效果又保证了速度。

小批量梯度下降：找一批数据计算梯度，使用均值更新参数

动量法

梯度角度

mini-batch SGD算法虽然这种算法能够带来很好的训练速度，但是在到达最优点的时候并不能够总是真正到达最优点，而是在最优点附近徘徊。

另一个缺点就是 mini-batch SGD需要我们挑选一个合适的学习率，当我们采用小的学习率的时候，会导致网络在训练的时候收敛太慢：当我们采用大的学习率的时候，会导致在训练过程中优化的幅度跳过函数的范围，也就是可能跳过最优点，我们所希望的仅仅是网络在优化的时候网络的损失函数有一个很好的收敛速度同时又不至于摆动幅度太大。

所以 Momentum优化器刚好可以解决我们所面临的问题，它主要是基于梯度的移动指数加权平均，对网络的参数进行平滑处理的，让梯度的摆动幅度变得更小。
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &v = 0.8v + 0.…

动量法：对梯度进行平滑，防止振幅过大

AdaGrad

学习率角度

AdaGrid算法就是将每一个参数的每一次迭代的梯度取平方累加后再开方，用全局学习率除以这个数，作为学习率的动态更新，从而达到自适应学习率的效果。
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &gradent = his…

AdaGrad:自适应学习率

RMSProp

学习率角度

Momentum（动量法）优化算法中，虽然初步解决了优化中摆动幅度大的问题，为了进一步优化损失函数在更新中存在摆动幅度过大的问题，并且进一步加快函数的收敛速度，RMSProp算法对参数的梯度使用了平方加权平均数。（视频中说是和AdaGrid比较，在算第一步gradent的时候多了加权平均）
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &gradent =0.8 …

PMSProp:对学习率进行加权

Adam

梯度+学习率角度

Adam（Adaptive Moment Estimation,自适应矩估计）算法是将Momentum算法和RMSProp算法结合起来使用的一种算法，能够达到防止梯度的摆幅过大，同时加快收敛速度的作用。

1. 需要初始化梯度的累积量和平方累积量
   $$v_w=0,s_w=0$$
2. 第 t轮训练中，我们首先可以计算得到Momentum和PMSProp的参数更新：
   $$\begin{gathered} v_w=0.8v+0.2\nabla w,Momentum计算的梯度 \\ {s}_w=0.8\ast s+0.2\ast (\nabla w{)}^2,PMSProp计算的梯度 \end{gathered}$$
3. 对其中的值进行处理后，得到：
   $$w=w-\frac{\alpha }{\sqrt{s_w}+\delta }{v}_w$$
   torch中的api为：torch.optim.Adam()

Adam:动量法+PMSProp，学习率能够自适应，梯度的振幅不会太大

更多Pytorch知识梳理，请参考： pytorch学习笔记

有问题请下方评论，转载请注明出处，并附有原文链接，谢谢！如有侵权，请及时联系。