Pytorch —— 优化器Optimizer（二）

1、learning rate学习率

梯度下降：$$w_{i+1}=w_i-LR\ast g\left(w_i\right)$$梯度是沿着负梯度方向进行更新的，学习率控制更新的步伐；

2、momentum动量

Momentum（动量，冲量）：结合当前梯度与上一次更新信息，用于当前更新；

学习动量法之前，先来学习指数加权平均：$${\mathrm{v}}_t=\beta \ast v_{t-1}+(1-\beta )\ast {\theta }_t$$Pytorch中的梯度更新公式为：$${\mathbf{v}}_{\mathbf{i}}=\mathbf{m}\ast {\mathbf{v}}_{\mathbf{i}-1}+\mathbf{g}\left({\mathbf{w}}_{\mathbf{i}}\right)$$$$w_{i+1}=w_i-lr\ast v_i$$公式中的$w_{i+1}$为第i+1次更新的参数，$lr$为学习率，$v_i$为更新量，$m$为momentum系数，$g(w_i)$为$w_i$的梯度。

3、torch.optim.SGD

主要参数：

• params：管理的参数组，参数组是一个list，list中的每一个元素是一个dict；
• lr：学习率；
• momentum：动量系数，贝塔；
• weight_decay：L2正则化系数；
• nesterov：布尔变量，是否采用NAG梯度下降方法，默认为False；

optim.SGD(params,lr=<object object>,momentum=0,dampening=0,weight_decay=0,nesterov=False)

4、Pytorh的十种优化器

1. optim.SGD：随机梯度下降法；
2. optim.Adagrad：自适应学习率梯度下降法；
3. optim.RMSprop：Adagrad的改进
4. optim.Adadelta：Adagrad的改进；
5. optim.Adam：RMSprop结合Momentum；
6. optim.Adamax：Adam增加学习率上限；
7. optim.SparseAdam：稀疏版的Adam；
8. optim.ASGD：随机平均梯度下降；
9. optim.Rprop：弹性反向传播；
   10.optim.LBFGS ：BFGS的改进；