Multivariate Linear Regression的参数估计

多元线性回归的表现形式是$$h_{\theta }(x)=y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n\text{\hspace{1em}(1)}$$

其中$x_1...x_n$是$n$个变量，${\theta }_0...{\theta }_n$是$n+1$个参数。$h$是hypothesis的简称。如果定义$x_0=1$，(1)式可以变为(2)式：
$$h_{\theta }(x)=y={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n\text{\hspace{1em}(2)}$$
其中$x_0=1$.

令： $$X=\left[\begin{array}{c}{x}_0\\ x_1\\ ⋮\\ x_n\end{array}\right],\Theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]$$
(2)式可简记为(3)式：
$$h_{\theta }(x)={\Theta }^{\mathrm{T}}X\text{\hspace{1em}(3)}$$

例如下表，我们要根据房屋属性预测房屋价格。那么在该例中，一共有4个属性，分别是Size, Number of bedrooms, Number of floors, Age of home，表示为$x_1,x_2,x_3,x_4$. Price是要预测的值，即$y$，这里表示为$h_{\theta }(x)$.

上表中有很多行，每一行称为一个训练样本(training example/sample). 为方便描述，定义以下符号：
$n$: 属性数量
$m$: 训练样本数量
$x^{(i)}$: 第$i$个训练样本的属性
$x_j^{(i)}$: 第$i$个训练样本的第$j$个属性

从(3)式可知，如果我们知道了参数矩阵${\Theta }^{\mathrm{T}}$的每一个值，就可以用方程(3)来预测未知样本的值。如何求得${\Theta }^{\mathrm{T}}$？机器学习中的一个重要任务就是估计${\Theta }^{\mathrm{T}}$. 足够好的${\Theta }^{\mathrm{T}}$必定会使得预测值无限接近于真实值，如果设计一个关于${\Theta }^{\mathrm{T}}$的函数用来表示预测值与真实值之间的差异，那么求得一个足够小的差异，就可以解出${\Theta }^{\mathrm{T}}$，这个函数通常成为代价函数（cost function），简记为$J(\mathbf{\theta })$.

代价函数及其参数的估计