吴恩达机器学习入门——单变量线性回归

模型

h为假设函数，通过训练集的输入，经过学习算法，可以得到假设函数。这个假设函数就可以来计算回归值（预估值）。

代价函数

代价函数也称为平方误差函数。它是解决回归问题的最佳手段。

代价函数主要用于之后求出和样本数据最佳拟合的假设函数的一个辅助函数，它就是利用假设函数的预测值减去真实值的平方和的值作为结果。代价函数最小的参数即为假设函数的参数。
下图为假设函数的两个参数都存在的情况下，代价函数的图形。最小代价函数的参数在谷底。

下图为假设函数只有一个参数的坐标图：

梯度下降算法

梯度下降算法主要用于求代价函数的最小值，它是一个同步迭代的式子。
其中α是学习率（learning rate）。
梯度下降算法要做到同步更新，即求出${\theta }_0$、${\theta }_1$的值之后，再代入原式。直到代价函数收敛。上一步的式子还可以进一步优化，把求导数展开：

接下来我们看一下梯度下降算法是如何起作用。
一、首先我们假设${\theta }_0$为0，它的坐标图如下图：

当${\theta }_1$取在右边，其偏导数为正值，这样${\theta }_1$就会一直减小直到收敛。
同样，当${\theta }_1$取在左边，其偏导数为负值，这样${\theta }_1$就会一直增大。
若${\theta }_1$刚好在收敛点上，那么偏导数为0，这时${\theta }_1$就不会有变化了。

α它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大，这是我们自己决定的，太小或太大都不行。如果太小那么迭代次数就会过多，相反太大的话就可能想不好，错过局部最小值。

我们通常10倍取值，也可以3倍等进行取值。

二、若${\theta }_0$不为0的话，则梯度下降算法就是沿图中红点的方向移动，直到圆中心的点，刚好收敛。如下图。

下图中黑色的线即为每次通过梯度下降算法计算出来的路线。