在使用SGD训练神经网络时,一般需要调整学习率,随着epoch的增加,使得学习率不断衰减。
原因如下:
1.如果学习率太大,容易发生震荡,需要调小学习率
2.如果学习率太小,则训练时间过长。
所以,可以在开始时设置较大一点的学习率,随着训练的进行,参数不断接近最优点,需要不断调小学习率,防止震荡的发生。
学习率衰减
最新推荐文章于 2024-02-17 15:27:34 发布
在使用SGD训练神经网络时,一般需要调整学习率,随着epoch的增加,使得学习率不断衰减。
原因如下:
1.如果学习率太大,容易发生震荡,需要调小学习率
2.如果学习率太小,则训练时间过长。
所以,可以在开始时设置较大一点的学习率,随着训练的进行,参数不断接近最优点,需要不断调小学习率,防止震荡的发生。