线性回归的正规方程推导

除了梯度下降法，我们还可以用正规方程法来求线性回归模型。

1. 正规方程的推导

设样本数量为$m$，每个样本有$n$个特征，线性回归模型$h_{\theta }(x)$为：
$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n={\theta }^{T}x$$
其中每个样本数据的$x_0$恒为1。

第$i$个样本数据特征变量记为$x^{(i)}$，目标变量为$y^{(i)}$，$h_{\theta }(x^{(i)})$为第$i$个样本数据的模型预测值，${ϵ}^{(i)}$为观察值和预测值之间的差（残差），则
$${ϵ}^{(i)}=h_{\theta }(x^{(i)})-y^{(i)}={\theta }^T{x}^{(i)}-y^{(i)}$$
${ϵ}^{(i)}$一般服从均值为0的正态分布，设这个正态分布的方差为${\sigma }^2$，则$ϵ$的概率密度函数$f(ϵ;{\theta }^T)$为
$$f(ϵ;{\theta }^T)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{ϵ}^2}{2{\sigma }^2})$$
这些残差的似然函数为
L ( θ ) = ∏ i = 1 m f ( ϵ ( i ) ; θ T ) = ∏ i = 1 m 1 2 π