1 什么叫梯度下降
我们训练模型的目标,就是找到一个拟合函数和一组参数,使得loss函数最小。如下
那么这组参数怎么找呢?大家肯定就想到了耳熟能详的梯度下降。
假设θ 有两个参数,即 {θ1, θ2}。初始时刻
第一次迭代后,
第二次迭代后,
其中梯度即为
学习率为η。这种沿着梯度反方向更新参数的方式,即为梯度下降。迭代步骤如如下所示
我们训练模型的目标,就是找到一个拟合函数和一组参数,使得loss函数最小。如下
那么这组参数怎么找呢?大家肯定就想到了耳熟能详的梯度下降。
假设θ 有两个参数,即 {θ1, θ2}。初始时刻
第一次迭代后,
第二次迭代后,
其中梯度即为
学习率为η。这种沿着梯度反方向更新参数的方式,即为梯度下降。迭代步骤如如下所示