广义最小二乘估计

最小二乘估计的使用前提总是假设线性回归模型的误差是等方差且不相关的，即$Cov(e)={\sigma }^{2}I$，虽然在许多情况下，这个假定可以认为近似地成立，但有时我们的确要考虑假定不成立时的情况。
为了讨论的简单，我们假定以下的的$\Sigma$（正常情况下是有参数的）是完全已知的。
我们讨论的模型：$$\{\begin{array}{l}y=X\beta +e,(\ast )\\ E(e)=0,\\ Cov(e)={\sigma }^2\Sigma \end{array}$$
(注：$\Sigma$是正定矩阵，故存在$P_{n\times n}$使得$\Sigma =P^{\prime }\Lambda P$,并记$({\Sigma }^{-\frac{1}{2}}{)}^2={\Sigma }^{-1}$)
用${\Sigma }^{-\frac{1}{2}}$左乘$(\ast )$式，得$${\Sigma }^{-\frac{1}{2}}y={\Sigma }^{-\frac{1}{2}}X\beta +{\Sigma }^{-\frac{1}{2}}e$$记$Z={\Sigma }^{-\frac{1}{2}}y,U={\Sigma }^{-\frac{1}{2}}X\beta ,\epsilon ={\Sigma }^{-\frac{1}{2}}e$,即得到了以个满足基本假定的新模型(我们可以计算新模型期望和协方差阵，发现确实满高斯-马尔可夫假定计算协方差时用到公式$Cov(AX)=ACov(X)A^{\prime }$): \quad $Z=U+\epsilon$, 因而我们可以得到新模型的最小二乘估计$${\beta }^{\ast }=(U^{\prime }U{)}^{-1}{U}^{\prime }Z=(X^{\prime }{\Sigma }^{-1}X{)}^{-1}{X}^{\prime }{\Sigma }^{-1}y$$一般地，我们就称${\beta }^{\ast }$为广义最小二乘估计。
定理: \quad 对于线性回归模型$(\ast )$的广义最小二乘估计${\beta }^{\ast }$，有以下性质：

1. $E({\beta }^{\ast })=\beta$
2. $Cov({\beta }^{\ast })={\sigma }^2(X^{\prime }{\Sigma }^{-1}X{)}^{-1}$
3. 对于任意$c_{n\times 1}$向量，$c^{\prime }{\beta }^{\ast }$为$c^{\prime }\beta$的唯一的最小方差无偏估计。（说明对于一般线性回归模型$(\ast ),$广义最小二乘估计总是优于普通最小二乘估计的）