机器学习入门系列二（关键词：多变量(非)线性回归，批处理，特征缩放，正规方程）

一、多变量的线性回归

在#机器学习系列一#中，我们讨论了单变量的线性回归，而多变量的线性回归与单变量类似，一致内容就不再赘述了。首先我们来看一个例子，下表是波特兰的房子价格，针对不同的房屋面积和卧室间数。

房屋面积/$ft^2$	卧室/间	价格/美元	房屋面积/$ft^2$	卧室/间	价格/美元
2104	3	399900	1962	4	259900
1600	3	329900	3890	3	573900
2400	3	369000	1100	3	249900
1416	2	232000	1458	3	464500
3000	4	539900	2526	3	469000
1985	4	299900	2200	3	475000
1534	3	314900	2637	3	299900
1427	3	198999	1839	2	349900
1380	3	212000	1000	1	169900
1494	3	242500	2040	4	314900
1940	4	239999	3137	3	579900
2000	3	347000	1811	4	285900
1890	3	329999	1437	3	249900
4478	5	699900	1239	3	229900
1268	3	259900	2132	4	345000
2300	4	449900	4215	4	549000
1320	2	299900	2162	4	287000
1236	3	199900	1664	2	368500
2609	4	499998	2238	3	329900
3031	4	599000	2567	4	314000
1767	3	252900	1200	3	299000
1888	2	255000	852	2	179900
1604	3	242900	1852	4	299900
1203	3	239500

在这里我们先规定一下符号记法：

符号	含义
$m$	训练样本的个数
$n$	每个训练样本的特征个数
$x$	训练样本中的输入变量
$y$	训练样本中的输出变量
$(x^{(i)},y^{(i)})$	第$i$个训练样本
$x^{(i)}_j$	第$i$个训练样本的输入变量的第$j$个特征
$h_\theta(x)$	输入变量$x$与输出变量$y$的映射关系

在本例中，训练样本个数$m$为47；输入变量的特征数$n$为2，分别为房屋面积和卧室间数；$x^{(i)}_1$为第$i$个样本的房屋面积，$x^{(i)}_2$为第$i$个样本的卧室间数，$y^{(i)}$为第$i$个样本的房屋价格，例$x^{(1)}=\begin{bmatrix}2104&3\end{bmatrix} ^ \mathrm{ T }$，$y^{(1)}=399900$。有了训练样本，下一步我们需要用一种算法得到一个比较好的映射关系$h_\theta(x)$，当给定房屋面积和卧室间数$x^*$时，通过映射关系可以得到一个符合训练样本规律的房屋价格$y^*$。由于我们现在讨论的是多变量的线性回归，因此我们假设

$$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2\tag{1}$$
同单变量线性回归一样，我们定义一个代价函数 $J(\theta_0,\theta_1,\theta_2)$。这样，问题就转化为寻找一组 θ