- 博客(6)
- 收藏
- 关注
RSS订阅原创 Datawhale X 李宏毅苹果书 AI夏令营 (深度学习进阶——TASK2）
（2）RMSProp:同一个参数的同个方向，学习率也是需要动态调整的，于是就有了一个新的方法———RMSprop（Root Mean Squared propagation）(3)Adam：可以看作 RMSprop 加上动量，其使用动量作为参数更新方向，并且能够自适应调整学习率。梯度很大，但是损失不再下降。如果用一个很小的学习率，如果最后阶段比较平，这个损失在最后阶段会下降的很慢很慢，无法靠近局部最小值。解决方法：（1） AdaGrad:梯度比较大的时候，学习率就减小，梯度比较小的时候，学习率就放大。
2024-08-31 23:59:27
545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人