pytorch优化器

Pytorch 一共有11个优化器，其中比较常用的主要有4种：SGD、Momentum、RMSProp、Adam。

SGD

实现随机梯度下降。

CLASS torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, 
weight_decay=0, nesterov=False)

参数：

• params (iterable) –待优化参数的iterable或者是定义了参数组的dict
• lr (float) – 学习率
• momentum (float, 可选) – 动量因子（默认：0，通常设置为0.9，0.8）
• weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认：0）
• dampening (float, 可选) – 动量的抑制因子（默认：0）
• nesterov (bool, 可选) – 使用Nesterov动