是使得代价函数最小码 随机梯度下降_利用梯度下降法学习线性回归模型(结合R语言)...

线性回归是最简单的机器学习算法，许多博客已经讲了很清楚了，而这其中有许多是参考了Andrew Ng（吴恩达）的教学视频。这篇文章以简洁的方式回顾利用梯度下降法学习线性回归模型。需要注意的是，与统计中经典的回归分析不同，机器学习是给计算机以训练集，让它“学习”出模型，而经典的回归分析则是人为地“估计”出回归系数。并且，机器学习无需经典的回归分析中繁琐的条件（Gauss-Markov假定等），适用性更广。而且当特征变量较多（在经典统计中叫自变量、解释变量、外生变量等），机器学习的效率更高。

我们回到线性回归模型。先考虑最简单的只有一个特征变量的情形。我们假定需要机器“学习”出来的模型为：

这里的

取的是hypothesis的首字母。这里参数

。同经典回归分析一样，我们的目标在二维实平面上确定

，使得样本点到模型的距离在平方和的意义下达到最小。不过再次强调一遍，机器学习是让计算机通过训练集将模型”

学习“出来，给出算法和程序后计算机会自动的从二维实平面中 选择一对

满足这个条件。为此，我们定义

代价函数(Cost Function)：

其中