最小二乘法原理（后）：梯度下降求权重参数

在上一篇推送中总结了用数学方法直接求解最小二乘项的权重参数，然而有时参数是无法直接求解的，此时我们就得借助梯度下降法，不断迭代直到收敛得到最终的权重参数。首先介绍什么是梯度下降，然后如何用它求解特征的权重参数，欢迎您的阅读学习。

1 梯度下降

梯度是函数在某点处的一个方向，并且沿着该方向变化最快，变化率最大。

沿着梯度这个方向，使得值变大的方向是梯度上升的方向，沿着使值变小的方向便是下降的方向。

综上，梯度下降的方向就是在该点处使值变小最快的方向。

2 梯度下降求参数

2-1 求梯度

在上个推送中我们得出了最小二乘项的代价函数（不好理解的话，可以理解为极大似然估计时，某个部分必须取得极小值，它被称为代价函数）：