UA STAT687 线性模型II 最小二乘理论1 普通最小二乘法

Legendre与Gauss在19世纪初提出了最小二乘的思想，1900年Markov证明了最小二乘估计的性质良好，在此之后最小二乘就开始广泛应用于线性模型的估计了。对于线性模型
$$y=X\beta +ϵ,Eϵ=0,Cov(ϵ)={\sigma }^{2}I$$

其中$y,ϵ$为$n\times 1$的向量，$X$为$n\times p$的Design Matrix，如果$rank(X)\ge p$，称这个线性模型为满秩的；否则称之为降秩的。这部分我们将介绍普通最小二乘法（OLS）、带约束的最小二乘法、广义最小二乘法（GLS）、稳健性、两步法、最小二乘法的几何解释以及常用数值算法，这一篇介绍OLS。

参数的OLS估计

OLS的思路是
$$\underset{\beta }{\min }Q={\Vert e\Vert }^2=(y-X\beta {)}^{\prime }(y-X\beta )=y^{\prime }y-2y^{\prime }X\beta +{\beta }^{\prime }{X}^{\prime }X\beta$$

计算$Q$关于$\beta$的梯度
$${\nabla }_{\beta }Q=-2X^{\prime }y+2X^{\prime }X\beta =0\Rightarrow X^{\prime }X\beta =X^{\prime }y$$

这个方程叫做OLS的正则方程，求解这个方程可以得到系数的OLS估计，并且基于这个方程还可以获得残差的性质。$X^{\prime }y$在$X^{\prime }$的列空间中，因此这个方程是相容的，可以用系数矩阵的广义逆表示解：
$$\hat{\beta }=(X^{\prime }X{)}^{-}{X}^{\prime }y$$

计算$Q$关于$\beta$的Hessian矩阵，
$$H_{\beta }Q=2X^{\prime }X\ge 0$$

因此$\hat{\beta }$使$Q$取最小值，并且最小值点唯一。

下面考虑广义逆的确定。假设$rank(X)\ge p$，则$X^{\prime }X$是满秩的方阵，
$$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }y$$

假设$rank(X)<p$，则$X^{\prime }X$降秩，它的逆不存在，此时不存在$\beta$的线性无偏估计。
证明
假设$Ay$是线性无偏估计，则$E(Ay)=AX\beta =\beta \Rightarrow AX=I_p\Rightarrow rank(AX)=p$，然而 r a n k ( A X ) ≤ r a n