转自https://www.cnblogs.com/lliuye/p/9471231.html
学习率决定着目标函数能否收敛到局部最小值以及何时收敛到最小值
合适的学习率能够使目标函数在合适的时间内收敛到局部最小值
固定学习率时,当到达收敛状态时,会在最优值附近一个较大的区域内摆动;而当随着迭代轮次的增加而减小学习率,会使得在收敛时,在最优值附近一个更小的区域内摆动。
学习率的调整:
强化学习中,学习率可以用for循环把每个值都套一遍得到最优
深度学习中:每 t 轮学习,学习率减半
监督学习:初始设置一个较大的学习率,然后随着迭代次数的增加,减小学习率