【线性回归】复习笔记

教材：王松桂《线性模型引论》

线性回归模型

$y=X\beta +e$

$E(e)=0,Cov(e)={\sigma }^{2}I$

$\beta$ 估计 —— LSE:

$minQ(\beta )=||e|{|}^2=||y-X\beta |{|}^2=(y-x\beta {)}^T(y-X\beta )$

then $\beta =(X^{T}X{)}^{-1}{X}^{T}y$

性质：
1.无偏性
2.最小方差性（Gauss-Markov定理）：
${\beta }_{LSE}$是$\beta$唯一的最佳线性无偏估计(BLU)

${\sigma }^2$估计：
记$\hat{e}=y-X\hat{\beta }=(I-P_X)y$
其中$P_X=X(X^{T}X{)}^{-1}{X}^T$
定义${\sigma }^2$的估计为$\widehat{{\sigma }^2}=||y-X{\hat{\beta }}^2||/(n-p)={\hat{e}}^T\hat{e}/(n-p)$、
性质：
${\hat{\sigma }}^2$是${\sigma }^2$的无偏估计
通常称前者为后者的LS估计

若进一步假设误差向量e服从多元正态分布，
则相应模型为正态线性模型：
$y=X\beta +e，eN(0,{\sigma }^{2}I)$
有如下性质：
（1）LSE $\hat{\beta }$是$\beta$的MLE，且$\hat{\beta }$服从$N(\beta ,{\sigma }^2(X^{T}X{)}^{-1})$
（2）$\frac{n-p}{n}{\hat{\sigma }}^2$为${\sigma }^2$的MLE，且$\frac{n-p}{n}{\hat{\sigma }}^2$服从${\chi }_{n-p}^2$
（3）$\hat{\beta }$与${\hat{\sigma }}^2$相互独立
（4）$\hat{\beta }$是$\beta$的MVUE