学习率是机器学习优化算法中的重要参数，它决定了每次迭代时权重更新的步长。合适的 learning rate 能确保模型有效收敛到损失函数的最小值。如果学习率设置过小，收敛速度会变得很慢；而设置过大，则可能导致震荡或错过最小值，无法有效收敛。因此，选择适当的学习率对于模型训练的效率和找到全局最优至关重要。
学习率的定义：
Wikipedia给出Learning Rate的定义如下
In machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function.
在机器学习和统计学中，学习率是优化算法中的调谐参数，该参数可确定确定每次迭代中的步长，使损失函数收敛到最小值
学习率的作用
这是来自吴恩达机器学习课程的截图
我们先看一下上面出现的唯一一条公式，公式中的θ就是代表着权重参数，新的θ会由之前的θ计算得来，这个计算过程就是为了寻找目标函数收敛到最小值。那么公式中出现的α就是当下的学习率。
上面两张明显的对比图就给出了学习率过大和过小的情况。
学习率设置过小的时候，每步太小，下降速度太慢，可能要花很长的时间才会找到最小值。
学习率过大过大的时候，每步太大，虽然收敛得速度很快，可能会像图中一样，跨过或忽略了最小值，导致一直来回震荡而无法收敛。
这时我们再通过Loss曲线看一下不同学习率对收敛得的影响
很明显，过小的学习率导致收敛缓慢，过大的学习率一开始收敛速度很快，但会导致无法收敛到最小值，超高的学习率甚至可能直接大幅跨过了最小值而没有收敛效果。
所以选取一个合适的学习率，对于找到全局最小值以及提高模型训练速度都是很有帮助的。
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
