机器学习笔记02：多元线性回归、梯度下降和Normal equation

在《机器学习笔记01》中已经讲了关于单变量的线性回归以及梯度下降法。今天这篇文章作为之前的扩展，讨论多变量（特征）的线性回归问题、多变量梯度下降、Normal equation（矩阵方程法），以及其中需要注意的问题。

单元线性回归

首先来回顾一下单变量线性回归的假设函数:

Size($feet^2$)	Price($\$$1000)
2104	460
1416	232
1534	315
852	178
…	…

我们的假设函数为 $h_\theta(x)=\theta_0+\theta_1 x$

---

多元线性回归

下面介绍多元线性回归(Linear Regression with Multiple features/variables)。同样以预测房价为例，假设我们对房价的预测涉及到4个因素：Size、Number of bedrooms、Number of floors、Age of house。假设我们的训练集如下：

Size($feet^2$)	Number of bedrooms	Number of floors	Age of house(years)	Price($\$$1000)
2104	5	1	43	460
1416	3	2	40	232
1534	3	2	30	315
852	2	1	36	178
…	…	…	…	…

符号说明（Notation）：

符号	含义
$n$	number of features(特征的数量，上表中为4)
$x^{(i)}$	input(features) of $i^{th}$ training example(第$i$组训练数据，比如$x^2$表示上表中第二行)
$x_j^{i}$	value of feature j in $i^{th}$ training example(第$i$组训练集的第$j$个特征值，比如$x_2^3$表示上表中的第三行第二列的值3)
$m$	number of training examples(训练集样本的数量，比如上表为4)

1、假设函数(Hypothesis function)

既然是线性回归，我们的假设函数当然应该是一条直线：

$$h_\theta(x)=\theta_0+\theta_1 x_1+\theta_2 x_2+\theta_3 x_3+...+\theta_n x_n$$ 或者 $$h_\theta(x)=\theta_0 x_0+\theta_1 x_1+\theta_2 x_2+\theta_3 x_3+...+\theta_n x_n$$ 其中 $x_0$始终为1。所以上面两个函数是等价的。
为了方便，我们记
$$X=\left[ \begin{matrix} x_0 \\ x_1 \\ x_2 \\ ... \\ x_n \end{matrix} \right];\quad \theta=\left[\begin{matrix} \theta_0 \\ \theta_1 \\ \theta_2 \\ ... \\ \theta_n \end{matrix}\right]$$
所以有

hθ(x)=θ0+θ1x1+θ2x