普通线性模型介绍

普通线性模型介绍

一般线性模型的数学定义为：
:---------: $y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_k{x}_k+\epsilon$
其中 $x_1,...,x_k$ 是自变量，$y$ 是因变量, ${\beta }_0$ 是常数项， ${\beta }_1,...,{\beta }_k$ 是回归系数。， $\epsilon$ 是随机误差项。

那么可以这样简单理解，实际现实中$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_k{x}_k$，即$y$和$x$始终存在这样的因果关系（例如，在$x$只有一项的时候，可以理解$y$和$x$是线性关系，在常数项等于0的前提下，就是比例关系，就像电压和和电流的关系，销售额和单价的关系），但是我们不能得到这个恒定的关系式。
在这里通常，我们采用试验观测的方式，假设我做了$n$次试验，得到了$n$组观测值 $y_i,x_{1i},...x_{ki}(i=1,2,...,n)$，它们符合关系式：
:---------: $y_i={\beta }_0+{\beta }_1{x}_{1i}+{\beta }_2{x}_{2i}+...+{\beta }_k{x}_{ki}+{\epsilon }_i$

如果采用矩阵来表示：
$y=\left[\begin{array}{c}{y}_1\\ y_2\\ .\\ .\\ .\\ y_n\end{array}\right]$,$X=\left[\begin{array}{cccc}1& x_{11}& ...& x_{k1}\\ 1& x_{12}& ...& x_{k2}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ 1& x_{1n}& ...& x_{kn}\end{array}\right]$,$\beta =\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\\ .\\ .\\ .\\ {\beta }_k\end{array}\right]$,$\epsilon =\left[\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ .\\ .\\ .\\ {\epsilon }_n\end{array}\right]$。
则可以将$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_k{x}_k+\epsilon$写成
$y=X\beta +\epsilon$。
其中$y$是$n\ast 1$试验得到的结果矩阵，$X$是$n\ast (k+1)$的矩阵，同时是影响$y$的自变量元素，$\epsilon$是随机误差向量，$\beta$对应自变量与因变量之间没有先天的函数关系（没有误差下的情况）。

所以经常教材上面会写三条假设：
(1) $E(\epsilon )=0$,
(2) $D(\epsilon )={\sigma }^{2}I,$
(3)$x_1,...,x_k$不相关，则模型$y=X\beta +\epsilon$可以称为普通线性回归。

通常，模型的随机误差会服从正态分布，$\epsilon \sim N(0,{\sigma }^{2}I)$,此时模型为普通正态线性回归模型。