第11课：线性回归——梯度下降法求解目标函数

y = a + bx 的目标函数

上一篇文章，我们解释了线性，本文我们回到求解线性回归目标函数的问题上。前面已知，线性回归的目标函数为：

$J(a,b) = \frac{1}{2m}\sum_{i=1}^{m}(a + bx^{(i)} - y^{(i)})^2$

J(a,b) 是一个二元函数。我们要求的是：两个参数 a 和 b 的值。要满足的条件是：a 和 b 取这个值的时候，J(a,b) 的值达到最小。

我们现在就来用之前讲过的算法：梯度下降法，来对其进行求解。

斜率、导数和偏微分

梯度下降法我们前面也讲过步骤，总结起来就是：从任意点开始，在该点对目标函数求导，沿着导数方向（梯度）“走”（下降）一个给定步长，如此循环迭代，直至“走”到导数为0的位置，则达到极小值。

为什么要求导呢？从下图可以看到：曲线表示一个函数，它在一个点处的导数值就是经过这个点的函数曲线的切线的斜率。

导数表现的是函数 f(x) 在 x 轴上某一点 $x_0$ 处，沿着 x 轴正方向的变化率/变化趋势，