SGD这么好用之下次一定——RAdam

不是我们喜新厌旧，而是RAdam确实是好用，新的State of the Art优化器RAdam - 知乎
https://zhuanlan.zhihu.com/p/85911013

立即尝鲜！碾压Adam，最好的AI优化器RAdam来了 - 知乎
https://zhuanlan.zhihu.com/p/79506425

深度学习模型的简单优化技巧 - 知乎
https://zhuanlan.zhihu.com/p/37918855

RAdam优化器又进化：与LookAhead强强结合，性能更优速度更快 - 知乎
https://zhuanlan.zhihu.com/p/79682492

(22 封私信 / 85 条消息) 神经网络中 warmup 策略为什么有效；有什么理论解释么？ - 知乎
https://www.zhihu.com/question/338066667/answer/790659772

(22 封私信 / 85 条消息) 你有哪些deep learning（rnn、cnn）调参的经验？ - 知乎
https://www.zhihu.com/question/41631631/answer/1129785528

(22 封私信 / 85 条消息) 如何看待最新提出的Rectified Adam (RAdam)？ - 知乎
https://www.zhihu.com/question/340834465/answer/791466806