【应用回归分析】CH3 回归参数的估计3——约束最小二乘估计

最新推荐文章于 2024-05-14 18:30:28 发布

韩博士要加油鸭

最新推荐文章于 2024-05-14 18:30:28 发布

阅读量2.9k

点赞数 3

分类专栏：应用回归分析文章标签：回归数据挖掘人工智能

本文链接：https://blog.csdn.net/m0_72318954/article/details/127347701

版权

应用回归分析专栏收录该内容

7 篇文章

订阅专栏

本文介绍了在线性约束条件下求解最小二乘估计的方法，并通过例题展示了如何在具体问题中应用这一理论。首先通过推导给出了带约束条件的最小二乘估计公式，随后通过一个天文测量的例子进行了说明。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、推导

二、定理

三、例题

一、推导

对于线性回归模型 $(3.1.6)$ ，在对参数向量 $\beta$ 没有附加任何约束条件的情况下，在前面两节我们求出了最小二乘估计并讨论了它的基本性质。但是，在一些检验问题的讨论中或其它一些场合，我们需要求带一定线性约束的最小二乘估计。

假设 ${\color{Red} A\beta =b(3.3.1)}$ 是一个相容线性方程组，其中 $A$ 为 $k*p$ 的已知矩阵，且秩为 $k$ 。 $b$ 为 $k*1$ 已知向量。我们用 $Lagrange$ 乘子法求模型 $(3.1.6)$ 满足线性约束 $(3.3.1)$ 的最小二乘估计。记

$A=\begin{pmatrix} a_{1}^{'}\\ \vdots \\ a_{k}^{'} \end{pmatrix},b=\begin{pmatrix} b_{1}\\ \vdots \\ b_{k} \end{pmatrix}(3.3.2)$

则线性约束 $(3.3.1)$ 可以改写为 $a_{i}^{'}\beta=b_{i},i=1,\cdots,k(3.3.3)$ 。我们的问题是在 $(3.3.3)$ 的 $k$ 个条件下求 $\beta$ 使 $Q(\beta )=\left \| y-X\beta \right \|^2$ 达到最小。为了应用 $Lagrange$ 乘子法，构造辅助函数

$F(\beta ,\lambda )=\left \| y-X\beta \right \|^2+2\sum_{i=1}^{k}\lambda _{i}(a_{i}^{'}\beta -b_{i})=\left \| y-X\beta \right \|^2+2\lambda ^{'}(A\beta -b)=(y-X\beta )^{'}(y-X\beta )+2\lambda ^{'}(A\beta -b)$

其中， $\lambda =\begin{pmatrix} \lambda _{1}\\ \vdots \\ \lambda _{k} \end{pmatrix}$ 为 $Lagrange$ 乘子。对函数 $F(\beta ,\lambda )$ 求对 $\beta _{0},\beta _{1},\cdots,\beta _{p-1}$ 的偏导数，整理并令它们等于零，得到 $-X^{'}y+X^{'}X\beta +A^{'}\lambda =0(3.3.4)$ 。然后解联立方程组

$\left\{\begin{matrix} -X^{'}y+X^{'}X\beta +A^{'}\lambda =0\\ A\beta =b \end{matrix}\right.$

我们用 $\hat{\beta }_{c},\hat{\lambda }_{c}$ 表示上述联立方程组的解，用 $(X^{'}X)^{-1}$ 左乘 $(3.3.4)$ ，整理后得到

$\hat{\beta }_{c}=(X^{'}X)^{-1}X^{'}y-(X^{'}X)^{-1}A^{'}\hat{\lambda }_{c}=\hat{\beta }-(X^{'}X)^{-1}A^{'}\hat{\lambda }_{c}.(3.3.5)$

带入 $(3.3.1)$ 得 $b=A\hat{\beta }_{c}=A\hat{\beta }-A(X^{'}X)^{-1}A^{'}\hat{\lambda _{c}}$ ，等价地 $A(X^{'}X)^{-1}A^{'}\hat{\lambda _{c}}=(A\hat{\beta}-b)(3.3.6)$ ，这是一个关于 $\hat{\lambda _{c}}$ 的线性方程组。因为 $A$ 的秩为 $k$ ，于是 $A(X^{'}X)^{-1}A^{'}$ 是 $k*k$ 的可逆矩阵，故 $(3.3.6)$ 有唯一解

$\hat{\lambda _{c}}=(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b)$

将 $\hat{\lambda _{c}}$ 代入 $(3.3.5)$ 得到

$\hat{\beta _{c}}=\hat{\beta }-(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b).(3.3.7)$

现在我们证明 $\hat{\beta _{c}}$ 确实是线性约束 $A\beta =b$ 下 $\beta$ 的最小二乘估计，为此我们只需要证明如下两点：

$A\hat{\beta _{c}}=b;$
对一切满足 $A\beta =b$ 的 $\beta$ ，都有 $\left \| y-X\beta \right \|^2\geqslant \left \| y-X\hat{\beta _{c}} \right \|^2.$

${\color{Blue} proof:}$

${\color{Blue} (a)A\hat{\beta}=A(\hat{\beta}-(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b))=A\hat{\beta }-A(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b)=A\hat{\beta }-A\hat{\beta }+b=b}$

$(b)\left \| y-X\beta \right \|^2=\left \| y-X\hat{\beta} \right \|^2+(\hat{\beta }-\beta )^{'}X^{'}X(\hat{\beta }-\beta )=\left \| y-X\hat{\beta} \right \|^2+(\hat{\beta }-\hat{\beta_{c}}+\hat{\beta_{c}}-\beta )^{'}X^{'}X(\hat{\beta }-\hat{\beta_{c}}+\hat{\beta_{c}}-\beta )=\left \| y-X\hat{\beta} \right \|^2+(\hat{\beta }-\hat{\beta _{c}})^{'}X^{'}X(\hat{\beta }-\hat{\beta _{c}})+(\hat{\beta_{c} }-\hat{\beta })^{'}X^{'}X(\hat{\beta _{c}}-\hat{\beta})=\left \| y-X\hat{\beta} \right \|^2+\left \| X(\hat{\beta }-\hat{\beta _{c}}) \right \|^2+\left \| X(\hat{\beta_{c} }-\hat{\beta }) \right \|^2(3.3.8)$

这里我们利用了应用 $(3.3.5)$ 得到的下述关系

$(\hat{\beta }-\hat{\beta _{c}})^{'}X^{'}X(\hat{\beta_{c} }-\beta )=\hat{\lambda _{c}}^{'}A(\hat{\beta_{c} }-\beta )=\hat{\lambda _{c}}^{'}(A\hat{\beta_{c} }-A\beta )=\hat{\lambda _{c}}^{'}(b-b)=0$

这个等式对一切满足 $A\beta =b$ 的 $\beta$ 成立。

$(3.3.8)$ 表明，对一切满足 $A\beta =b$ 的 $\beta$ ，总有

$\left \| y-X\beta \right \|^2\geqslant \left \| y-X\hat{\beta } \right \|^2+\left \| X(\hat{\beta }-\hat{\beta _{c}}) \right \|^2(3.3.9)$

且等号成立当且仅当 $(3.3.8)$ 式的第三项等于零，即 $X(\hat{\beta _{c}}-\beta )=0$ ，因为 $rank(A)=p$ ，故上式等价于 $\beta= \hat{\beta _{c}}$ 。于是在 $(3.3.9)$ 中用 $\hat{\beta _{c}}$ 代替 $\beta$ ，等式成立，即

$\left \| y-X\hat{\beta_{c}} \right \|^2=\left \| y-X\hat{\beta } \right \|^2+\left \| X(\hat{\beta }-\hat{\beta _{c}}) \right \|^2(3.3.10)$

结合 $(3.3.9)(3.3.10)$ ，得证。

我们把 $\hat{\beta _{c}}$ 称为 $\beta$ 的约束最小二乘估计。

二、定理

对于线性回归模型 $(3.1.6)$ ，满足 $(3.3.1)$ 的约束最小二乘估计为

${\color{Red} \hat{\beta _{c}}=\hat{\beta }-(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b)}$

其中， $\hat{\beta }=(X^{'}X)^{-1}X^{'}y$ 是无约束条件下的最小二乘估计。

三、例题

在天文测量中，对天空中三个星位点构成的三角形 $ABC$ 的三个内角 $\theta _{1},\theta _{2},\theta _{3}$ 进行测量，得到的测量值分别为 $y_{1},y_{2},y_{3}$ 。由于存在测量误差，所以需要对 $\theta _{1},\theta _{2},\theta _{3}$ 进行估计，我们利用线性模型有关的量：

$\left\{\begin{matrix} y_{1}=\theta _{1}+e_{1}\\ y_{2}=\theta _{2}+e_{2}\\ y_{3}=\theta _{3}+e_{3}\\ \theta _{1}+\theta _{2}+\theta _{3}=\pi \end{matrix}\right.(3.3.11)$

其中 $e_{i},i=1,2,3$ 表示测量误差。 $(3.3.11)$ 就是一个带有约束条件的线性模型，可把它写成矩阵形式：

$\begin{pmatrix} y_{1}\\ y_{2}\\ y_{3} \end{pmatrix}=\begin{pmatrix} 1 & 0& 0\\ 0 & 1&0 \\ 0 &0 & 1 \end{pmatrix}\begin{pmatrix} \theta _{1}\\ \theta _{2}\\ \theta _{3} \end{pmatrix}+\begin{pmatrix} e_{1}\\ e_{2}\\ e_{3} \end{pmatrix}\Leftrightarrow \left\{\begin{matrix} y=X\beta +e\\ A\beta =b \end{matrix}\right.$

其中， $y=\begin{pmatrix} y_{1}\\ y_{2}\\ y_{3} \end{pmatrix},\beta =\begin{pmatrix} \theta _{1}\\ \theta _{2}\\ \theta _{3} \end{pmatrix},X=\begin{pmatrix} 1 &0 &0 \\ 0 &1 &0 \\ 0&0 &1 \end{pmatrix}=I_{3},A=(1,1,1),b=\pi$ 。利用定理3.3.1经计算可得 $\hat{\beta _{c}}=\begin{pmatrix} y_{1}\\ y_{2}\\ y_{3} \end{pmatrix}-\frac{1}{3}(\sum_{i=1}^{3}y_{i}-\pi)\begin{pmatrix} 1\\ 1\\ 1 \end{pmatrix}$ ，即 $\hat{\theta _{i}}=y_{i}-\frac{1}{3}(y_{1}+y_{2}+y_{3}-\pi),i=1,2,3$ 为 $\theta _{i}$ 的约束最小二乘估计。