机器学习笔记3 Optimization 在线: 离线: Momentum SGD: Adagrad: RMSProp: Adam: Optimizer总结: 实际应用: Adam的问题 改进SGD: Learning Rate 改进: Adam 的 Warm-up 基于预测的优化: 都可以与Lookahead结合