吴恩达机器学习笔记系列（四）——线性回归

一.model representation（模型描述）

1.变量含义：

m = 样本数量

x = 输入变量

y = 输出变量

（x，y）——表示一组训练样本

$（x^i,y^i）$——第 i 个训练样本

如下图：y^1=460, x^1=2104。

2.监督学习问题描述如下：

hypothesis（假设）；

对于线性问题，x与y的映射关系式可以表示为：$h_\theta(x)=\theta_0+\theta_1x$ （记为式①），则问题转化为：

​ 找到合适的$\theta_0$和$\theta_1$的值，使得$h_\theta(x)$近似于训练样本（x，y)中的 y 的值。

---

3.cost function 代价函数

线性回归问题转到求解cost function上面来，即找出最符合要求的$\theta_0$和$\theta_1$，使得式① 计算的值最接近 y 的值，即求二者之间差值最小的情况下$\theta_0$和$\theta_1$：

$minimize$ $\frac{1} {2m}\sum_{i=1}^m({h_\theta(x^{(i)}}-y^{(i)})^2$——①

$(\theta_0,\theta_1)$

​ 其中：$h_\theta(x^{(i)}$ 是预测值；$y^{(i)}$是样本实际值。

注意：为什么成本函数包括乘以1 /（2m）？

a). 1/m部分是这样的成本是按比例缩放的。 在本课程的后面，我们将比较不同规模训练集的成本值J.
b). 1/2部分是一个微积分技巧，所以当我们计算偏导数时，它会被分子中出现的’2’抵消。 这节省了我们在成本函数中的计算。

由此得到cost function (也被称作squared error function均方差函数) 的表达式（记为式②）：

$J(\theta_0,\theta_1)=\frac{1} {2m}\sum_{i=1}^m({h_\theta(x^{(i)}}-y^{(i)})^2$——②

注：上式也被称作squared error function(均方差函数)

（1）简化的cost function 理解

①：

对于线性回归问题的模型，当$\theta_0$不为0时，式①的图像纵轴交点不为零；当$\theta_0$=0时，式①为过原点的直线，对应的代价函数$J(\theta)$也简化了。

线性回归问题的目标就是：找出使得$J(\theta_0,\theta_1)$的值最小的参数$\theta_0$和$\theta_1$的值。

②：

从左图看，黑色线表示样本实际的线性回归方程，红色和蓝色线分别表示$\theta_1$为0和0.5时的回归方程，可以看出红色线上每个样本的预测值（$h(\theta_1)$）距离真实的值（y值）的长度分别是图中垂直线段的长度（|$y-h(\theta_1)$|）。红色线上各样本处的距离长度均大于蓝色线，说明蓝色线的回归效果更好。即对该样本数据来说，线性回归的性能排序为：$\theta_1$=1 > $\theta_1$=0.5 > $\theta_1$0。

对应在右图有同样的结论。通过计算可以发现$\theta_1$的值为1，0.5和0时得到了代价函数的值分别是0，0.58和$\frac{14}{6}$，我们的目标是使$J(\theta_1)$越小越好，所以有性能排序为：$\theta_1$=1 > $\theta_1$=0.5 > $\theta_1$0。

（2）更复杂的cost function的图像

当$\theta_0 != 0$时,$J(\theta_0,\theta_1)$的图像是三维立体的一个凹面，最低点为最优解。