参考：深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）学习率 方法 缺点 优点 经验 手动设置学习率 SGD(mini-batch gradient descent) 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有...
参考：深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
| 学习率 | 方法 | 缺点 | 优点 | 经验 |
| 手动设置学习率 | SGD(mini-batch gradient descent) | 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了 | 初始化和学习率设置比较合适的情况下，结果更可靠 |
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
559
