用作自己记录
参考知乎:优化器(Optimizer) - 知乎 (zhihu.com)
1.什么是优化器?
2.有哪些优化器?
3.优化算法的选择与使用策略
参考资料:
优化算法Optimizer比较和总结 - 知乎 (zhihu.com)
梯度下降(Gradient Descent)小结 - 刘建平Pinard - 博客园 (cnblogs.com)
一个框架看懂优化算法之异同 SGD/AdaGrad/Adam - 知乎 (zhihu.com)
一文弄懂神经网络中的反向传播法——BackPropagation - Charlotte77 - 博客园 (cnblogs.com)
聊一聊深度学习中的优化器 | Autobots, transform and roll out! (piddnad.cn)