深度学习: 学习率 (learning rate)

深度学习: 学习率 (learning rate)

Introduction

学习率 (learning rate)，控制 模型的 学习进度 ： 

lr 即 stride (步长) ，即反向传播算法中的 ηη ：

ωn←ωn−η∂L∂ωnωn←ωn−η∂L∂ωn

学习率大小

	学习率 大	学习率 小
学习速度	快	慢
使用时间点	刚开始训练时	一定轮数过后
副作用	1.易损失值爆炸；2.易振荡。	1.易过拟合；2.收敛速度慢。

学习率设置

在训练过程中，一般根据训练轮数设置动态变化的学习率。

• 刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
• 一定轮数过后：逐渐减缓。
• 接近训练结束：学习速率的衰减应该在100倍以上。

Note&#x