Pytorch学习——常用优化器区别和优缺点

使用

import torch.optim as optim
optimizer = optim.Adam(net.parameters(), lr=eval(LR_G))

典型的梯度下降法GD(gradient descent)

• 介绍：梯度下降法(gradient descent)是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。
• 特