（一）线性模型

:# 基本形式
给定由d个属性描述的特征 $x = \{x_1;x_2;x_3;...;x_d\}$，其中$x$是在第i个属性位置上的取值，这样就形成了一个线性函数，定义如下：

令 x 1 = 1写成向量形式如下：

我们的目标就是去求这些参数，如何确定参数，关键在于如何去衡量 h(x)和y之间的差别。均方误差是回归任务中最常用的性能度量，因此我们可以试图让均方误差最小化，描述这个误差的函数叫损失函数（loss function）或者错误函数(error function)即：

这个错误估计函数是去对x(i)的估计值与真实值y(i)差的平方和作为错误估计函数，前面乘上的1/2是为了在求导的时候，这个系数就不见了。最小二乘建立的目标函数，是在高斯噪声的假设下，利用极大似然估计的方法建立的。

求解

（1）直接求导
对于上述的loss function，我们可以表达成向量的形式，如下

矩阵求导参考：https://en.wikipedia.org/wiki/Matrix_calculus
此方法要求$X^TX$满秩矩阵或者正定矩阵。计算矩阵的逆需要较长的时间。
（2）梯度下降
梯度下降法是按下面的流程进行的：
1. 初始化参数（随机初始化）
2. 迭代，新的参数能够是的J(theta)减小
3. 如果J(theta)无法继续减小或者达到循环次数，则退出。