广义最小二乘法的证明

最新推荐文章于 2024-06-14 10:40:06 发布

皮皮君

最新推荐文章于 2024-06-14 10:40:06 发布

阅读量1.5w

点赞数 7

文章标签：广义最小二乘法最小二乘法

本文链接：https://blog.csdn.net/qq_16587307/article/details/81585325

版权

需用到的知识：

1）正交矩阵：

如果 $AA^{T}=E$ （为单位矩阵， $A^{T}$ 表示“矩阵A的转置矩阵”）或 $A^{T}A=E$ ，则n阶实矩阵称为正交矩阵。

根据这个定义，很容易得到的是 $A^{-1}=A^{T}$ ，也就是说正交矩阵的逆很容易求，直接对原矩阵转置就是原矩阵的逆。

显然非常容易推出下面的一个定理：

A是n阶实正交矩阵，B也是n阶实正交矩阵，那么AB仍然是n阶实正交矩阵。

证明：

根据正交矩阵的定义，如果证明 $AB(AB)^{T}=E$ ，那就证明了也是正交矩阵。

因为A是正交矩阵，所以 $AA^{T}=E$ ，

因为B是正交矩阵，所以 $BB^{T}=E$ .

所以， $AB(AB)^{T}=ABB^{T}A^{T}=AEA^{T}=AA^{T}=E$ 。

证明毕。

2）实对称矩阵：

因为是对称矩阵，所以如果A是实对称矩阵，那么肯定满足： $A=A^{T}$

实对称矩阵的定理1：实对称矩阵的特征值必为实数。

实对称矩阵的定理2：实对称矩阵的不同特征值所对应的特征向量正交。

实对称矩阵的定理3: 设 ${\color{Red} A}$ 为n阶实对称矩阵，则必有正交矩阵 ${\color{Red} Q}$ , 使得 ${\color{Red} Q^{-1}AQ=\Lambda}$ ，其中 ${\color{Red} \Lambda}$ 是以 ${\color{Red} A}$ 的n个特征值为对角元素的对角矩阵。

这里证明定理3，其他两个定理网上比较容易找到证明，并且他们的证明也比较容易理解。

定理3的证明来自：https://wenku.baidu.com/view/713224a1f021dd36a32d7375a417866fb84ac064.html?from=search

证明如下（采用数学归纳法）：

当 n=1 时，定理显然成立。

然后，根据归纳法原理，现在假设n-1阶实对称矩阵来说定理是成立的，那么只要证明在此基础上，n阶实对称矩阵也成立，那么整个定理就得到证明。

假设 $\lambda _{1}$ 是n阶对称矩阵A的一个特征值（这里的假设是合理的，因为实对称矩阵的定理1）， $\alpha _{1}$ 是属于特征值 $\lambda _{1}$ 的特征向量，显然很容易就可以把 $\alpha _{1}$ 进行单位化， $\alpha _{1}$ 单位化后的向量 $\eta _{1}=\frac{1}{|\alpha _{1}|}\alpha _{1}$ ，显然，向量 $\eta _{1}$ 仍然是特征值 $\lambda _{1}$ 的特征向量。为形成正交化矩阵，我们可以直接假设 $\alpha _{1}$ 向量是单位化之后的向量。我们记 $Q_{1}$ 是以 $\alpha _{1}$ 为第一列任意正交矩阵。把 $Q_{1}$ 分块为 $Q_{1}=(\alpha _{1},Q_{0})$ ，其中 $Q_{0}$ 为 $n\times (n-1)$ 矩阵。

则

$Q^{-1}_{1}AQ_{1}=Q^{T}_{1}AQ_{1}=\begin{bmatrix} \alpha _{1}^T\\ Q_{0}^T \end{bmatrix}A\begin{bmatrix} \alpha _{1} ,&Q_{0} \end{bmatrix}=\begin{bmatrix} \alpha _{1}^TA\alpha _{1} & \alpha _{1}^TAQ _{0} \\ Q _{0}^TA\alpha _{1} & Q _{0}^TAQ _{0} \end{bmatrix}$

注意到

$A\alpha_{1}=\lambda _{1}\alpha_{1}$

$\alpha_{1}^T\alpha_{1}=1$

A=A^T

以及， $\alpha_{1}$ 与 $Q_{0}$ 的各列向量都正交，所以

$Q^{-1}_{1}AQ_{1}=\begin{bmatrix} \lambda _{1} & 0\\ 0 & Q_{0}^TAQ_{0} \end{bmatrix}=\begin{bmatrix} \lambda _{1} &0 \\ 0 & A_{1} \end{bmatrix}$

其中 $A_{1}=Q_{0}^TAQ_{0}$ 为 n-1 阶实对称矩阵。

根据归纳法假设，n-1阶实对称矩阵 $A_{1}$ 是存在一个n-1阶正交矩阵 $Q_{2}$ 使得：

$Q_{2}^{-1}A_{1}Q_{2}=Q_{2}^{T}A_{1}Q_{2}=diag(\lambda _{2},\lambda_{3},...,\lambda_{n})$

令 $Q_{3}=\begin{bmatrix} 1 & 0\\ 0&Q_{2} \end{bmatrix}$ , $Q=Q_{1}Q_{3}$ ，

则 $Q_{3}$ ，均为n阶正交矩阵（理论依据参考本文1)部分内容），并且

$Q^{-1}AQ=Q_{3}^{-1}(Q_{1}^{-1}AQ_{1})Q_{3}=\begin{bmatrix} 1& 0\\ 0 & Q_{2} \end{bmatrix}^{-1}\begin{bmatrix} \lambda _{1} &0 \\ 0 & A_{1} \end{bmatrix}\begin{bmatrix} 1& 0\\ 0 & Q_{2} \end{bmatrix}=\begin{bmatrix} 1& 0\\ 0 & Q_{2}^{-1} \end{bmatrix}\begin{bmatrix} \lambda _{1} &0 \\ 0 & A_{1} \end{bmatrix}\begin{bmatrix} 1& 0\\ 0 & Q_{2} \end{bmatrix}=\begin{bmatrix} \lambda _{1} &0 \\ 0 & Q_{2} ^{T}A_{1}Q_{2}\end{bmatrix}=diag(\lambda_{1},\lambda_{2},\lambda_{3},...,\lambda_{n})$

这表明 $Q^{-1}AQ$ 为对角矩阵。根据数学归纳法原理，对任意n阶实对称矩阵定理3结论成立。

3）实对称矩阵的一个推论

根据上面实对称矩阵的定理3，我们可以有这么一个推论，就是：

任何n阶实对称矩阵A，都可以分解为某个n阶方阵P乘以P的转置，即 ${\color{Red} A=PP^{T}}$ 。这里的P是复数域的。

证明：

由实对称矩阵的定理3可知，始终存在一个正交矩阵Q使得A可以对角化，即：

$Q^{-1}AQ=diag(\lambda_{1},\lambda_{2},\lambda_{3},...,\lambda_{n})$

因此有:

$A=QQ^{-1}AQQ^{-1}=Qdiag(\lambda_{1},\lambda_{2},\lambda_{3},...,\lambda_{n})Q^{-1}=Qdiag(\sqrt{\lambda_{1}},\sqrt{\lambda_{2}},\sqrt{\lambda_{3}},...,\sqrt{\lambda_{n}})diag(\sqrt{\lambda_{1}},\sqrt{\lambda_{2}},\sqrt{\lambda_{3}},...,\sqrt{\lambda_{n}})Q^{-1}$

如果令

$P=Qdiag(\sqrt{\lambda_{1}},\sqrt{\lambda_{2}},\sqrt{\lambda_{3}},...,\sqrt{\lambda_{n}})$

$P^{T}=diag(\sqrt{\lambda_{1}},\sqrt{\lambda_{2}},\sqrt{\lambda_{3}},...,\sqrt{\lambda_{n}})Q^{T}=diag(\sqrt{\lambda_{1}},\sqrt{\lambda_{2}},\sqrt{\lambda_{3}},...,\sqrt{\lambda_{n}})Q^{-1}$

(注意，如果 $\lambda _{i}$ 是负数，那么 $\sqrt{\lambda_{i}}$ 就是虚数，因此允许是复数域的，另外比较明显的是这个P在复数域是可逆的， $P^{-1}$ 很容易可以得出)

所以， $A=PP^{T}$ 。

证明毕。

3）广义最小二乘法

这部分来自：https://wenku.baidu.com/view/9ede2058876fb84ae45c3b3567ec102de2bddfaa.html

普通最小二乘法、加权最小二乘法是广义最小二乘法的特例。

存在序列相关性最常用的方法是广义最小二乘法

Y=XB+U

$Y=\begin{pmatrix} y_{1}\\ y_{2}\\ \vdots \\ y_{n} \end{pmatrix}$ $X=\begin{pmatrix} 1 & x_{11}& \hdots & x_{1m} \\ 1 &x_{21} & \hdots &x_{2m} \\ \vdots & \vdots & & \vdots \\ 1& x_{n1} & \hdots& x_{nm} \end{pmatrix}$ $B=\begin{pmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{m} \end{pmatrix}$ $U=\begin{pmatrix} u_{1} \\ u_{2} \\ \vdots \\ u_{n} \end{pmatrix}$

假设

$E(U)=\boldsymbol{0}$ ，

$E(u_{i}u_{j})=\sigma ^2w_{ij}$

因此， $Cov(UU^{T})=E(UU^{T})=\sigma ^2\Omega$

$\Omega =\begin{pmatrix} w_{11} & w_{12}& \hdots & w_{1n} \\ w_{21} & w_{22}& \hdots &w_{2n} \\ \vdots & \vdots & & \vdots \\ w_{n1}& w_{n2} & \hdots& w_{nn} \end{pmatrix}$ 可以是异方差的(也就是对角线上至少存在一对 $w_{ii}$ 和 $w_{jj}$ 是不相等的)。

设 $\Omega=DD^{T}$ ,(这个假设是合理的，因为 $\Omega$ 是一个实对称矩阵，上面已经有推论，在复数域上是可以分解为 $DD^{T}$ 的)。

用 $D^{-1}$ 左乘 Y=XB+U 两边

$D^{-1}Y=D^{-1}XB+D^{-1}U$ 即

$Y^{*}=X^{*}B+U^{*}$

$Cov(U^{*}U^{*}^{T})=E(U^{*}U^{*}^{T})=E(D^{-1}UU^{T}D^{-1}^{T})$ (这一步的理由: $E(U)=\boldsymbol{0}$ )

$=D^{-1}E(UU^{T})D^{-1}^{T}$

$=D^{-1}\sigma ^{2}\Omega D^{-1}^{T}=\sigma ^{2}D^{-1}DD^{T}D^{-1}^{T}$

$=\sigma ^{2}I$

再用普通最小二乘法得：

$\hat{B}=(X^{*}^{T}X^{*})^{-1}X^{*}^{T}Y^{*}$

$=(X^{T}D^{-1}^{T}D^{-1}X)^{-1}X^{T}D^{-1}^{T}D^{-1}Y$

$=(X^{T}\Omega^{-1} X)^{-1}X^{T}\Omega^{-1}Y$

这就是广义最小二乘法估计模型的参数估计量。

矩阵 $\Omega$ 的估计为

$\Omega=\begin{pmatrix} e^{2}_{1} & e_{1}e_{2} &\cdots & e_{1}e_{n}\\ & e^{2}_{2}& \cdots& \\ \vdots & \vdots& & \vdots\\ e_{n}e_{1} &e_{n}e_{2} &\cdots & e^{2}_{n} \end{pmatrix}$

皮皮君

关注

7
点赞
踩
38

收藏

觉得还不错? 一键收藏
2
评论
广义最小二乘法的证明

需用到的知识：1）正交矩阵：如果（为单位矩阵，表示“矩阵A的转置矩阵”）或，则n阶实矩阵称为正交矩阵。根据这个定义，很容易得到的是，也就是说正交矩阵的逆很容易求，直接对原矩阵转置就是原矩阵的逆。显然非常容易推出下面的一个定理： A是n阶实正交矩阵，B也是n阶实正交矩阵，那么AB仍然是n阶实正交矩阵。证明：根据正交矩阵的定义，...
复制链接

扫一扫