参考: 几种优化算法的比较(BGD、SGD、Adam、RMSPROP)_纸上得来终觉浅~的博客-CSDN博客_rmsprop缺点机器学习中几种优化算法的比较(SGD、Momentum、RMSProp、Adam) - Glowming - 博客园 深度学习优化算法总(SGD,AdaGrad,Adam等) - 知乎 优化方法:SGD,Momentum,AdaGrad,RMSProp,Adam