原文链接:https://blog.csdn.net/qq_41204464/article/details/83660728
深度学习: 学习率 (learning rate)
学习率 (learning rate),控制 模型的 学习进度 :
lr 即 stride (步长) ,即反向传播算法中的 ηη :
ωn←ωn−η∂L∂ωnωn←ωn−η∂L∂ωn
理想情况下 曲线 应该是 滑梯式下降 [绿线]:
-
曲线 初始时 上扬 [红线]: Solution:初始 学习率过大 导致 振荡,应减小学习率,并 从头 开始训练 。
-
曲线 初始时 强势下降 没多久 归于水平 [紫线]: Solution:后期 学习率过大 导致 无法拟合,应减小学习率,并 重新训练 后几轮 。
-
曲线 全程缓慢 [黄线]: Solution:初始 学习率过小 导致 收敛慢,应增大学习率,并从头 开始训练。