What is that
多个协变量决定一个因变量,并且具有同一个白噪声( σ \sigma σ)
我们通过一些实验数据,推断其原本符合的模型,使用方法为最小二乘估计(OLS/LSE)
How to do that
模型:
y
i
=
β
0
+
β
1
x
i
1
+
β
2
x
i
2
+
.
.
.
+
β
p
x
i
p
+
ϵ
i
y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+...+\beta_px_{ip}+\epsilon_i
yi=β0+β1xi1+β2xi2+...+βpxip+ϵi
给予一组样本:
{ y i ; x i 1 , x i 2 , x i 3 . . . . . x i p } i = 1 , 2... n \left\{y_i;x_{i1},x_{i2},x_{i3}.....x_{ip}\right\}_{i =1,2...n} {yi;xi1,xi2,xi3.....xip}i=1,2...n
将所有式子写在一起:
( y 1 y 2 ⋮ y p ) = ( 1 x 11 x 12 ⋯ x 1 p 1 x 21 x 22 ⋯ x 2 p 1 ⋮ ⋮ ⋱ ⋮ 1 x n 1 x n 2 ⋯ x n p ) × ( β 0 ^ β 1 ^ β 2 ^ ⋮ β p ^ ) + ( ϵ 1 ϵ 2 ⋮ ϵ n ) \begin{pmatrix} y_1\\ y_2 \\ \vdots \\ y_p \end{pmatrix} = \begin{pmatrix}1&x_{11}&x_{12}&\cdots&x_{1p}\\ 1&x_{21}&x_{22}&\cdots&x_{2p}\\ 1&\vdots&\vdots&\ddots&\vdots\\ 1&x_{n1}&x_{n2}&\cdots&x_{np}\end{pmatrix}\times \begin{pmatrix}\hat{\beta_0}\\\hat{\beta_1}\\\hat{\beta_2}\\\vdots\\\hat{\beta_p}\end{pmatrix}+\begin{pmatrix}\epsilon_1\\\epsilon_2\\\vdots\\\epsilon_n\end{pmatrix} y1y2⋮yp = 1111x11x21⋮xn1x12x22⋮xn2⋯⋯⋱⋯x1px2p⋮xnp × β0^β1^β2^⋮βp^ + ϵ1ϵ2⋮ϵn
写成向量形式
y i = x i T β + ϵ i y_i=x_i^T\beta+\epsilon_i yi=xiTβ+ϵi i = 1 , 2... n i =1,2...n i=1,2...n
写成矩阵形式:
Y = X β + e Y=X\beta+e Y=Xβ+e
先直接表明结果:
β ^ = ( X T X ) − 1 X T Y \hat{\beta}=(X^TX)^{-1}X^TY β^=(XTX)−1XTY
Why is correct
代数角度推导
最小二乘详细推导:
这里需要理解,为什么OLS是对的,感性的理解,当估计模型偏离真实值时,其残差平方和一定会增大,所以当残差平方和最小时,我们有理由相信这是真实模型
。。。
残差就是与真实值的差距啊。。残差和最小,很直觉的判断依据,不过残差和恒为零,因此取残差平方和
从最小二乘出发
这样的式子很难求解,我们转化为矩阵形式计算:
求导 arg最值:
第一步,将两个互为转置的项合并了,是因为这两个项虽然是矩阵的形式,但其计算后为一个数,而转置不会改变计算结果,则可以合并
第二步中,并不是矩阵求导,而是向量导数,见线代基础知识(还没看懂)
第三步,等式两边为什么不能一次消去一个,而要两个一起消去(两种方式结果不同,显然一次一个是错误的,并未想通,在线代中再去学习,此处略过)
几何角度推导
在
R
n
R^n
Rn中:
Y是一个向量,
X
β
X\beta
Xβ是
X
X
X的列向量的线性组合,构成比n低一个维度的平面
由代数推导中得知:
最小二乘的式子
a
r
g
m
i
n
S
(
β
)
=
(
Y
−
X
β
)
T
(
Y
−
X
β
)
argmin S(\beta)=(Y-X\beta)^T(Y-X\beta)
argminS(β)=(Y−Xβ)T(Y−Xβ)
=
∣
∣
Y
−
X
β
∣
∣
2
=||Y-X\beta||^2
=∣∣Y−Xβ∣∣2
即为求向量
Y
−
X
β
Y-X\beta
Y−Xβ的距离最短
β
^
\hat{\beta}
β^就是X的列向量的一个线性组合,使得距离最短成立
如下图:
显然,当
Y
−
X
β
Y-X\beta
Y−Xβ垂直与
X
β
X\beta
Xβ平面时距离最短,那么
求解: X T ( Y − X β ^ ) = 0 X^T(Y-X\hat{\beta})=\textbf{0} XT(Y−Xβ^)=0
解得: β ^ = ( X T X ) − 1 X T Y \hat{\beta}=(X^TX)^{-1}X^TY β^=(XTX)−1XTY