机器学习入门（六）：线性回归——梯度下降法求解目标函数

y = a + bx 的目标函数

上一篇文章，我们解释了线性，本文我们回到求解线性回归目标函数的问题上。前面已知，线性回归的目标函数为：

J(a,b)=12m∑mi=1(a+bx(i)−y(i))2

J(a,b) 是一个二元函数。我们要求的是：两个参数 a 和 b 的值。要满足的条件是：a 和 b 取这个值的时候，J(a,b) 的值达到最小。

我们现在就来用之前讲过的算法：梯度下降法，来对其进行求解。

斜率、导数和偏微分

梯度下降法我们前面也讲过步骤，总结起来就是：从任意点开始，在该点对目标函数求导，沿着导数方向（梯度）“走”（下降）一个给定步长，如此循环迭代，直至“走”到导数为0的位置，则达到极小值。

为什么要求导呢？从下图可以看到：曲线表示一个函数，它在一个点处的导数值就是经过这个点的函数曲线切线的斜率。

导数表现的是函数 f(x) 在 x 轴上某一点 x0 处，沿着 x 轴正方向的变化率/变化趋势，记作 f′(x0)。

在 x 轴上某一点处，如果 f′(x0)>0 ，说明 f(x) 的函数值在 x0 点沿 x 轴正方向是趋于增加的；如果 f′(x0)<0，说明 f(x) 的函数值在 x0 点沿 x 轴正方向是趋于减少的。

一元函数在某一点处沿 x 轴正方向的变化率称为导数。但如果是二元或更多元的函数（自变量维度 >=2）