机器学习中为什么需要梯度下降_机器学习1 -- 梯度下降 Gradient Descent

1 什么叫梯度下降

我们训练模型的目标，就是找到一个拟合函数和一组参数，使得loss函数最小。如下

那么这组参数怎么找呢？大家肯定就想到了耳熟能详的梯度下降。

假设θ 有两个参数，即 {θ1, θ2}。初始时刻

第一次迭代后，

第二次迭代后，

其中梯度即为

学习率为η。这种沿着梯度反方向更新参数的方式，即为梯度下降。迭代步骤如如下所示