深度学习优化学习方法总结 (一阶为主)https://blog.csdn.net/sunflower_sara/article/details/81321886
常用的优化算法:梯度下降法,牛顿法,拟牛顿法,共轭梯度法 (二阶为主) https://blog.csdn.net/sunflower_sara/article/details/81215135
一阶方法:
随机梯度下降(Stochastic Gradient Descent,SGD)
动量(SGD with Momentum,SGDM)
牛顿动量法(Nesterov Acceleration Gradient,NAG)
AdaGrad(自适应梯度)
RMSProp(均方差传播)
Adam
Nadam
二阶方法:
牛顿法
拟牛顿法
共轭梯度法 CG
BFGS
L-BFGS