【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计

最新推荐文章于 2024-07-23 09:53:31 发布

韩博士要加油鸭

最新推荐文章于 2024-07-23 09:53:31 发布

阅读量4k

点赞数 4

分类专栏：应用回归分析文章标签：回归

本文链接：https://blog.csdn.net/m0_72318954/article/details/127523554

版权

应用回归分析专栏收录该内容

7 篇文章

订阅专栏

博客围绕广义最小二乘估计展开，先推导其估计过程，将误差协方差阵为正定阵的回归模型变换为已讨论过的情况。接着阐述其性质，证明广义最小二乘估计是最优的且优于最小二乘估计。还给出简单例子，指出实际应用中确定协方差阵形式较难。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、广义最小二乘估计的推导

二、广义最小二乘估计的性质——【定理3.6.1】

一、广义最小二乘估计的推导

在前面的讨论中，我们总是假设线性回归模型的误差是等方差且不相关的，即 $Cov(e)=\sigma ^2I$ 。但在很多情况下，这个假设总是可以认为近似地成立。但是，像在 $\S 3.4$ 所指出的，仍然有许多实际问题，经过残差分析后，我们不能认为这些假设是合适的，它们的误差方差可能不相等，也可能彼此相关。这时，误差向量的协方差阵 $Cov(e)=\sigma ^2\Sigma$ ，这里 $\Sigma$ 为一个正定阵，当然 $\Sigma$ 往往包含有位置参数。为简单计，在这一节的讨论中，我们假定 $\Sigma$ 是完全已知的。我们要讨论的回归模型具有如下形式：

${\color{Red} y=X\beta +e,E(e)=0,Cov(e)=\sigma ^2\Sigma (3.6.1)}$

为了求参数的估计，我们经过适当变换，把它化成前面讨论过的情形，既然 $\Sigma$ 是正定阵，于是存在n*n的正交阵P使其对角化： $\Sigma =P^{'}\Lambda P$ ，这里

$\Lambda =diag(\lambda_{1},\lambda_{2},\cdots,\lambda_{n}),\lambda_{i}>0,i=1,2,\cdots,n$

$\lambda_{i}$ 是 $\Sigma$ 的特征值。记 $\Sigma ^{\frac{1}{2}}=P^{'} diag(\lambda_{1}^{-\frac{1}{2}},\lambda_{2}^{-\frac{1}{2}},\cdots,\lambda_{n}^{-\frac{1}{2}}) P$ 。则 $(\Sigma ^{-\frac{1}{2}})^2=\Sigma ^{-1}$ ，称 $\Sigma ^{-\frac{1}{2}}$ 是 $\Sigma ^{-1}$ 的平方根阵。用 $\Sigma ^{-\frac{1}{2}}$ 左乘 $(3.6.1)$ ，记 ${\color{Red} z=\Sigma ^{-\frac{1}{2}}y,U=\Sigma ^{-\frac{1}{2}}X,\epsilon =\Sigma ^{-\frac{1}{2}}e}$ 。因为

$Cov(\epsilon )=\Sigma ^{-\frac{1}{2}}\sigma ^2\Sigma \Sigma ^{-\frac{1}{2}}=\sigma ^2I$

于是我们得出如下线性回归模型：

${\color{Red} z=U\beta +\epsilon ,E(\epsilon )=0,Cov(\epsilon )=\sigma ^2I(3.6.2)}$

这就是我们已经讨论过的情况在。在这个新模型中， $\beta$ 的最小二乘估计为

${\color{Red} \beta ^{*}=(U^{'}U)^{-1}U^{'}z=(X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y(3.6.3)}$

一般，我们称 $\beta ^{*}$ 为 $\beta$ 的广义最小二乘估计，也有一些作者称 $\beta ^{*}$ 为 $\beta$ 的 $Gauss-Markov$ 估计，下面的定理概括了这个估计得统计性质。

二、广义最小二乘估计的性质——【定理3.6.1】

1.定理内容

对于线性回归模型 $(3.6.1)$ ，有

$(a)E(\beta ^{*})=\beta$
$Cov(\beta ^{*})=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}$
对任意P*1已知向量c， $c^{'}\beta ^{*}$ 为 $c^{'}\beta$ 的唯一最小方差无偏估计

2.定理证明

${\color{Red} proof:}$

${\color{Red} (a)E(\beta ^{*})=E\left [ (X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y \right ]=(X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}X\beta =\beta }$

${\color{Red} (b)Cov(\beta ^{*})=Cov\left [ (X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y \right ]=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}\Sigma \Sigma ^{-1}X(X^{'}\Sigma ^{-1}X)^{-1}=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}}$

${\color{Red} (c)}$ 设 ${\color{Red} b^{'}y}$ 是 ${\color{Red} c^{'}\beta}$ 的任一线性无偏估计，对于模型(3.6.2)，我们有

${\color{Red} c^{'}\beta ^{*}=c^{'}(U^{'}U)^{-1}U^{'}z,b^{'}y=b^{'}\Sigma ^{\frac{1}{2}}\Sigma ^{-\frac{1}{2}}y=b^{'}\Sigma ^{\frac{1}{2}}z}$

这就是说，对变换后的模型而言， ${\color{Red} c^{'}\beta ^{*}}$ 是 ${\color{Red} c^{'}\beta}$ 的最小二乘估计，而 ${\color{Red} b^{'}y=b^{'}\Sigma ^{\frac{1}{2}}z}$ 是 ${\color{Red} c^{'}\beta}$ 的一个无偏估计，由定理3.2.2知， ${\color{Red} Var(c^{'}\beta ^{*})\leqslant Var(b^{'}\Sigma ^{\frac{1}{2}}z)=Var(b^{'}y)}$ ，并且等号成立当且仅当 ${\color{Red} c^{'}\beta ^{*}=b^{'}y}$ ，定理证毕。

3.定理说明

定理3.6.1(c)就是一般情况下的 $Gauss-Markov$ 定理。它表明，在一般线性回归模型(3.6.1)中，广义最小二乘估计 $\beta ^{*}$ 是最优的。但是，如果我们把 $\beta ^{*}$ 表达式中的 $\Sigma$ 换成单位阵 $I$ ，则得到 $\hat{\beta }=(X^{'}X)^{-1}X^{'}y$ 。称为简单最最小二乘估计，常常简称为最小二乘估计。容易证明，对于模型(3.6.1)， $E(\hat{\beta })=\beta$ ，即 $\hat{\beta }$ 仍是 $\beta$ 的无偏估计。但这时对任意线性函数 $c^{'}\beta$ ， $c^{'}\hat{\beta }$ 只是 $c^{'}\beta$ 的一个无偏估计，它未必是最优的。我们称 $c^{'}\beta ^{*}$ 和 $c^{'}\hat{\beta }$ 分别为 $c^{'}\beta$ 的广义最小二乘估计和（简单）最小二乘估计。根据定理3.6.1(c)，对一切P*1向量c有 $Var(c^{'}\beta^{*})\leqslant Var(c^{'}\hat{\beta })$ ，这就是说对于一般线性回归模型(3.6.1)，广义最小二乘估计总是优于最小二乘估计。

三、简单例子

模型(3.6.1)的最简单例子是因变量的不同观测具有不等方差的情况，这时

$Cov(e)=\begin{pmatrix} \sigma _{1}^2 & & & \\ & \sigma _{2}^2 & & \\ & &\ddots & \\ & & & \sigma _{n}^2 \end{pmatrix}$

这里可以有一些 $\sigma _{i}^2$ 彼此相等。记 $x_{1}^{'},\cdots,x_{n}^{'}$ 分别为设计矩阵X的n个行向量，则容易推出，这时 $\beta$ 的广义最小二乘估计具有如下形式

$\beta ^{*}=\left ( \sum_{i=1}^{n}\frac{x_{i}x_{i}^{'}}{\sigma _{i}^2} \right )^{-1}\left ( \sum_{i=1}^{n}\frac{y_{i}}{\sigma _{i}^2}x_{i} \right )(3.6.4)$

从这个表达式我们可以看出，两个和式分别是 $x_{i}x_{i}^{'}$ 和 $y_{i}x_{i}$ 的“加权和”，而所用的权都是 $\frac{1}{\sigma _{i}^2}$ 。因此文献中常常把(3.6.4)定义的 $\beta ^{*}$ 称为加权最小二乘估计。这里讲的是 $\sigma _{i}^2$ 皆已知的情况。在实际应用中， $\sigma _{i}^2$ 往往是未知的，这时我们可以设法求得他们的估计 $\hat{\sigma _{i}^2}$ 去代替。

对于一般线性回归模型，在实际应用中碰到的问题是确定协方差阵 $\Sigma$ 的形式，但这往往是十分困难的。一般我们总是从假设 $\Sigma =I$ 入手，求得简单最小二乘估计，然后通过残差分析，对误差方差提供一些信息。另一种做法是，从问题本身的专业角度或其它方面，对误差向量提出一些特殊结构，这时误差协方差阵就具有特殊形式。