普通线性模型介绍
一般线性模型的数学定义为:
:---------:
y
=
β
0
+
β
1
x
1
+
β
2
x
2
+
.
.
.
+
β
k
x
k
+
ε
y=\beta_0+\beta_1x_1+\beta_2x_2+...+\beta_kx_k+\varepsilon
y=β0+β1x1+β2x2+...+βkxk+ε
其中
x
1
,
.
.
.
,
x
k
x_1,...,x_k
x1,...,xk 是自变量,
y
y
y 是因变量,
β
0
\beta_0
β0 是常数项,
β
1
,
.
.
.
,
β
k
\beta_1,...,\beta_k
β1,...,βk 是回归系数。,
ε
\varepsilon
ε 是随机误差项。
那么可以这样简单理解,实际现实中
y
=
β
0
+
β
1
x
1
+
β
2
x
2
+
.
.
.
+
β
k
x
k
y=\beta_0+\beta_1x_1+\beta_2x_2+...+\beta_kx_k
y=β0+β1x1+β2x2+...+βkxk,即
y
y
y和
x
x
x始终存在这样的因果关系(例如,在
x
x
x只有一项的时候,可以理解
y
y
y和
x
x
x是线性关系,在常数项等于0的前提下,就是比例关系,就像电压和和电流的关系,销售额和单价的关系),但是我们不能得到这个恒定的关系式。
在这里通常,我们采用试验观测的方式,假设我做了
n
n
n次试验,得到了
n
n
n组观测值
y
i
,
x
1
i
,
.
.
.
x
k
i
(
i
=
1
,
2
,
.
.
.
,
n
)
y_i,x_{1i},...x_{ki} (i=1,2,...,n)
yi,x1i,...xki(i=1,2,...,n),它们符合关系式:
:---------:
y
i
=
β
0
+
β
1
x
1
i
+
β
2
x
2
i
+
.
.
.
+
β
k
x
k
i
+
ε
i
y_i=\beta_{0}+\beta_1x_{1i}+\beta_2x_{2i}+...+\beta_kx_{ki}+\varepsilon_{i}
yi=β0+β1x1i+β2x2i+...+βkxki+εi
如果采用矩阵来表示:
y
=
[
y
1
y
2
.
.
.
y
n
]
y=\begin{bmatrix} y_1\\ y_2\\.\\.\\.\\y_n\\ \end{bmatrix}
y=⎣⎢⎢⎢⎢⎢⎢⎡y1y2...yn⎦⎥⎥⎥⎥⎥⎥⎤,
X
=
[
1
x
11
.
.
.
x
k
1
1
x
12
.
.
.
x
k
2
.
.
.
.
.
.
.
.
.
1
x
1
n
.
.
.
x
k
n
]
X=\begin{bmatrix} 1 &x_{11}&...&x_{k1}\\1 &x_{12}&...&x_{k2}\\ .&.&&.\\.&.&&.\\.&.&&.\\1 &x_{1n}&...&x_{kn}\\ \end{bmatrix}
X=⎣⎢⎢⎢⎢⎢⎢⎡11...1x11x12...x1n.........xk1xk2...xkn⎦⎥⎥⎥⎥⎥⎥⎤,
β
=
[
β
0
β
1
.
.
.
β
k
]
\beta=\begin{bmatrix} \beta_0\\\beta_1\\ .\\.\\.\\\beta_k\\ \end{bmatrix}
β=⎣⎢⎢⎢⎢⎢⎢⎡β0β1...βk⎦⎥⎥⎥⎥⎥⎥⎤,
ε
=
[
ε
1
ε
2
.
.
.
ε
n
]
\varepsilon=\begin{bmatrix} \varepsilon_{1}\\\varepsilon_{2}\\ .\\.\\.\\\varepsilon_{n}\\ \end{bmatrix}
ε=⎣⎢⎢⎢⎢⎢⎢⎡ε1ε2...εn⎦⎥⎥⎥⎥⎥⎥⎤。
则可以将
y
=
β
0
+
β
1
x
1
+
β
2
x
2
+
.
.
.
+
β
k
x
k
+
ε
y=\beta_0+\beta_1x_1+\beta_2x_2+...+\beta_kx_k+\varepsilon
y=β0+β1x1+β2x2+...+βkxk+ε写成
y
=
X
β
+
ε
y=X\beta+\varepsilon
y=Xβ+ε。
其中
y
y
y是
n
∗
1
n*1
n∗1试验得到的结果矩阵,
X
X
X是
n
∗
(
k
+
1
)
n*(k+1)
n∗(k+1)的矩阵,同时是影响
y
y
y的自变量元素,
ε
\varepsilon
ε是随机误差向量,
β
\beta
β对应自变量与因变量之间没有先天的函数关系(没有误差下的情况)。
所以经常教材上面会写三条假设:
(1)
E
(
ε
)
=
0
E(\varepsilon)=0
E(ε)=0,
(2)
D
(
ε
)
=
σ
2
I
,
D(\varepsilon)=\sigma^2I,
D(ε)=σ2I,
(3)
x
1
,
.
.
.
,
x
k
x_1,...,x_k
x1,...,xk不相关,则模型
y
=
X
β
+
ε
y=X\beta+\varepsilon
y=Xβ+ε可以称为普通线性回归。
通常,模型的随机误差会服从正态分布, ε ∼ N ( 0 , σ 2 I ) \varepsilon\thicksim N(0,\sigma^2I) ε∼N(0,σ2I),此时模型为普通正态线性回归模型。