pytroch中的SGD优化器

• 在pytorch中，有一个优化器（Optimizer)的概念，包名为torch.optim,优化算法有SGD, Momentum,AdaGrad,RMSProp,Adam

SGD

• SGD是常用的优化方法，但是其收敛的过程很慢，Momentum方法可以加速收敛

class torch.optim.SGD(param,lr=<objectobject>,momentum=0,dampening=0,weight_decay=0,nesterov=False)

params:用于优化迭代的参数（net.parameters())
lr:学习率，默认值为1e*-3
momentum:动量因子，用于动量梯度的下降算法，默认为0
dampening:抑制因子，用于动量算法，默认为0
weight_decay:权值衰减系数，L2参数，默认为0
nesterov:nesterov动量方法使能

使用:optimizer=SGD(net.parameters(),lr=0.05)