What is that
多个协变量决定一个因变量，并且具有同一个白噪声( σ \sigma σ)
我们通过一些实验数据，推断其原本符合的模型，使用方法为最小二乘估计(OLS/LSE)
How to do that
模型：
y
i
=
β
0
+
β
1
x
i
1
+
β
2
x
i
2
+
.
.
.
+
β
p
x
i
p
+
ϵ
i
y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+...+\beta_px_{ip}+\epsilon_i
yi=β0+β1xi1+β2xi2+...+βpxip+ϵi
给予一组样本：
{ y i ; x i 1 , x i 2 , x i 3 . . . . . x i p } i = 1 , 2... n \left\{y_i;x_{i1},x_{i2},x_{i3}.....x_{ip}\right\}_{i =1,2...n} {yi;xi1,xi2,xi3.....xip}i=1,2...n
将所有式子写在一起：
( y 1 y 2 ⋮ y p ) = ( 1 x 11 x 12 ⋯ x 1 p 1 x 21 x 22 ⋯ x 2 p 1 ⋮ ⋮ ⋱ ⋮ 1 x n 1 x n 2 ⋯ x n p ) × ( β 0 ^ β 1 ^ β 2 ^ ⋮ β p ^ ) + ( ϵ 1 ϵ 2 ⋮ ϵ n ) \begin{pmatrix} y_1\\ y_2 \\ \vdots \\ y_p \end{pmatrix} = \begin{pmatrix}1&x_{11}&x_{12}&\cdots&x_{1p}\\ 1&x_{21}&x_{22}&\cdots&x_{2p}\\ 1&\vdots&\vdots&\ddots&\vdots\\ 1&x_{n1}&x_{n2}&\cdots&x_{np}\end{pmatrix}\times \begin{pmatrix}\hat{\beta_0}\\\hat{\beta_1}\\\hat{\beta_2}\\\vdots\\\hat{\beta_p}\end{pmatrix}+\begin{pmatrix}\epsilon_1\\\epsilon_2\\\vdots\\\epsilon_n\end{pmatrix} y1y2⋮yp = 1111x11x21⋮xn1x12x22⋮xn2⋯⋯⋱⋯x1px2p⋮xnp × β0^β1^β2^⋮βp^ + ϵ1ϵ2⋮ϵn
写成向量形式
y i = x i T β + ϵ i y_i=x_i^T\beta+\epsilon_i yi=xiTβ+ϵi i = 1 , 2... n i =1,2...n i=1,2...n
写成矩阵形式：
Y = X β + e Y=X\beta+e Y=Xβ+e
先直接表明结果：
β ^ = ( X T X ) − 1 X T Y \hat{\beta}=(X^TX)^{-1}X^TY β^=(XTX)−1XTY
Why is correct
代数角度推导
最小二乘详细推导：
这里需要理解，为什么OLS是对的，感性的理解，当估计模型偏离真实值时，其残差平方和一定会增大，所以当残差平方和最小时，我们有理由相信这是真实模型
。。。
残差就是与真实值的差距啊。。残差和最小，很直觉的判断依据，不过残差和恒为零，因此取残差平方和
从最小二乘出发
这样的式子很难求解，我们转化为矩阵形式计算：
求导 arg最值：
第一步，将两个互为转置的项合并了，是因为这两个项虽然是矩阵的形式，但其计算后为一个数，而转置不会改变计算结果，则可以合并
第二步中，并不是矩阵求导，而是向量导数，见线代基础知识（还没看懂）
第三步，等式两边为什么不能一次消去一个，而要两个一起消去（两种方式结果不同，显然一次一个是错误的，并未想通，在线代中再去学习，此处略过）
几何角度推导
在
R
n
R^n
Rn中：
Y是一个向量，
X
β
X\beta
Xβ是
X
X
X的列向量的线性组合，构成比n低一个维度的平面
由代数推导中得知：
最小二乘的式子
a
r
g
m
i
n
S
(
β
)
=
(
Y
−
X
β
)
T
(
Y
−
X
β
)
argmin S(\beta)=(Y-X\beta)^T(Y-X\beta)
argminS(β)=(Y−Xβ)T(Y−Xβ)
=
∣
∣
Y
−
X
β
∣
∣
2
=||Y-X\beta||^2
=∣∣Y−Xβ∣∣2
即为求向量
Y
−
X
β
Y-X\beta
Y−Xβ的距离最短
β
^
\hat{\beta}
β^就是X的列向量的一个线性组合，使得距离最短成立
如下图：
显然，当
Y
−
X
β
Y-X\beta
Y−Xβ垂直与
X
β
X\beta
Xβ平面时距离最短，那么
求解： X T ( Y − X β ^ ) = 0 X^T(Y-X\hat{\beta})=\textbf{0} XT(Y−Xβ^)=0
解得： β ^ = ( X T X ) − 1 X T Y \hat{\beta}=(X^TX)^{-1}X^TY β^=(XTX)−1XTY
5847
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
