【应用回归分析】CH4 假设检验与预测1——一般线性假设

数据人的自我救赎

已于 2022-11-29 19:20:48 修改

阅读量929

点赞数

分类专栏：应用回归分析文章标签：回归数据挖掘人工智能

于 2022-11-29 19:20:38 首次发布

本文链接：https://blog.csdn.net/m0_72318954/article/details/127537903

版权

应用回归分析专栏收录该内容

7 篇文章 8 订阅

订阅专栏

前言

在上一章，我们讨论了回归参数的几种估计方法，依据这些方法得到回归系数的估计，就可以建立经验回归方程。但是，所建立的经验回归方程是否真正刻画了因变量与自变量之间实际的依赖关系呢？这一方面，也许是最重要的方面，是要把经验方程拿到实践中去考察；另一方面，我们可以做统计假设检验，这叫做回归方程的显著性检验。另外，我们还希望研究因变量是否真正依赖一个或几个特定的自变量，这就导致了相应的回归系数显著性检验。在本章的前三节，我们将讨论这些检验问题。在第四节，将研究奇异值的检验。最后一节讨论在给定了回归自变量的情况下，如何预测对应的因变量的值。

引例

1.【例1】

目的：检验回归方程 $y=\alpha +\beta ^{'}x$ 是否通过原点？即检验 $\alpha =0$ 成立与否

${\color{Red} H_{0}:\alpha =0\Leftrightarrow H_{0}:(1,0,\cdots,0)\begin{pmatrix} \alpha \\ \beta \end{pmatrix}=0\Leftrightarrow A\begin{pmatrix} \alpha \\ \beta \end{pmatrix}=b}$

2.【例2】

目的：检验回归方程 $y=\alpha +\beta _{1}x_{1}+\cdots+\beta _{p-1}x_{p-1}$ 中，自变量 $x_{i}$ 是否对 $y$ 有影响？即检验

${\color{Red} H_{0}:\beta _{i}=0\Leftrightarrow H_{0}:(0,0,\cdots,0,1,0,\cdots,0)\begin{pmatrix} \alpha \\ \beta _{1}\\ \vdots \\ \beta _{p-1} \end{pmatrix}=0\Leftrightarrow A\beta =b}$

上式中的1为第 $i+1$ 个值。进一步，若想确定K各自变量 $x_{1},x_{2},\cdots,x_{k}$ 是否对 $y$ 有影响，可取

${\color{Red} H_{0}:\beta _{1}=\beta _{2}=\cdots=\beta _{k}\Leftrightarrow H_{0}:(0,I_{k},0)\begin{pmatrix} \alpha \\ \beta \end{pmatrix}=0\Leftrightarrow A\begin{pmatrix} \alpha \\ \beta \end{pmatrix}=b}$

【注】 $I_{k }$ 解释

$\left\{\begin{matrix} \beta _{1}=0\Leftrightarrow (0,1,0,\cdots,0)\begin{pmatrix} \beta _{0}\\ \vdots \\ \beta _{p-1} \end{pmatrix}\\ \beta _{2}=0\Leftrightarrow (0,0,1,\cdots,0)\begin{pmatrix} \beta _{0}\\ \vdots \\ \beta _{p-1} \end{pmatrix}\\ \vdots \\ \beta _{k}=0\Leftrightarrow (0,\cdots,0,1,0,\cdots,0)\begin{pmatrix} \beta _{0}\\ \vdots \\ \beta _{p-1} \end{pmatrix} \end{matrix}\right.$

一、假设检验的基本思想

考虑正态线性回归模型

${\color{Red} y=X\beta +e,e\sim N(0,\sigma^2I)(4.1.1)}$

其中，X为n*p设计阵，其秩为p。本节讨论比较一般的线性假设

${\color{Red} H:A\beta =b(4.1.2)}$

的检验问题，这里A（一般矩阵）为m*p矩阵，其秩为m；b为m*1已知向量。在接下来两节的讨论中读者会看到，实际应用中许多感兴趣的问题都可归结为形如(4.1.2)的假设的检验问题。

我们先提出检验方法的基本思想。对模型(4.1.1)应用最小二乘法，对应的残差平方和为

$RSS=(y-X\hat{\beta })^{'}(y-X\hat{\beta })=y^{'}(I-X(X^{'}X)^{-1}X^{'})y(4.1.3)$

这里 $\hat{\beta}=(X^{'}X)^{-1}X^{'}y$ ，它放映了实际数据与模型(4.1.1)拟合的程度。RSS愈小表示数据与模型拟合得愈好。现在在模型(4.1.1)上附加线性假设(4.1.2)，再应用最小二乘法，获得约束最小二乘估计

$\hat{\beta _{H}}=\hat{\beta}-(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta}-b)(4.1.4)$

相应的残差平方和

$RSS_{H}=(y-X\hat{\beta_{H}})^{'}(y-X\hat{\beta_{H}})(4.1.5)$

很明显，加了约束条件(4.1.2)，模型参数 $\beta$ 的变化范围缩小了，因而残差平方和 $RSS_{H}$ 要变大，于是总有 $RSS_{H}\geqslant RSS$ 。如果真正的参数确实满足约束条件(4.1.2)，那么加上约束条件和不加约束条件本质上是一样的。这时，对无约束模型和有约束模型，数据拟合的程度也应该一样，因而刻画拟合程度的残差平方和之差 $RSS_{H}-RSS$ 应该比较小。反过来，若真正的参数不满足(4.1.2)，则 $RSS_{H}-RSS$ 倾向于比较大，因此，当 $RSS_{H}-RSS$ 比较大时，我们就拒绝假设(4.1.2)，否则接受。在统计学上当我们谈到一个量大小时，往往有一个比较标准，对现在的情况，我们把比较的标准取为 $RSS$ 。于是，用统计量 ${\color{Red} \frac{RSS_{H}-RSS}{RSS}}$ 的大小来决定是接受假设(4.1.2)，还是拒绝。

【注】

任取方程 $A\beta =b$ 的一个解 $\beta _{0}$ ，令 $\beta ^{*}=\beta -\beta _{0}$ ，则 $H_{0}:A\beta=b$ 转换为齐次假设

$H_{0}:A\beta^{*}=0(b=A\beta_{0})$

在(4.1.1)中，令 $y^{*}=y-X\beta_{0}$ ，则(4.1.1)变为 $y^{*}=X\beta^{*}+e(y-X\beta_{0}=X(\beta-\beta_{0})+e)$

二、定理【4.1.1】

1.定理内容

对于正态线性回归模型(4.1.1)，有：

$(a)\frac{RSS}{\sigma^2}\sim \chi _{n-p}^{2};$
若假设(4.1.2)成立，则 $\frac{RSS_{H}-RSS}{\sigma^2} \sim \chi _{m}^{2}$
$RSS,RSS_{H}-RSS$ 相互独立
当假设(4.1.2)成立时， $F_{H}=\frac{\frac{RSS_{H}-RSS}{m}}{\frac{RSS}{n-p}}\sim F_{m,n-p}(4.1.6)$ ，这里 $F_{m,n}$ 表示自由度为m,n的F分布