【统计学习系列】多元线性回归模型（五）——参数与模型的显著性检验：t检验与F检验

【更新日志】
5/1/2020 对文章中公式与措辞中存在的问题进行修正(感谢评论区小伙伴的指正！)

---

1. 前文回顾

在上一篇文章中，我们分别研究了最小二乘估计量 β^_OLS 和 σ^_OLS 的相关性质，证明了 β^_OLS 是 β 的一个最优线性无偏估计量（BLUE）， σ^²_OLS 是 σ² 的一个无偏估计量，并得到了其在正态性误差假设下所对应的分布：
$${\hat{\mathbf{\beta }}}_{OLS}\sim N(\mathbf{\beta },{\sigma }^2({\mathbf{X}}^T\mathbf{X}{)}^{-1})$$$$\frac{{\hat{\sigma }}_{OLS}^2}{{\sigma }^2}\sim {\chi }_{N-p-1}^2$$

（详情请见：【统计学习系列】多元线性回归模型（三）——参数估计量的性质）。

通过最小二乘法拟合好模型的参数后，一个重要的问题就是：这个模型真的“好"吗？满足什么条件、什么性质的模型可以称作一个“好模型”呢？

---

2. 单参数显著性检验——t检验

2.1 问题的提出

首先，我们应该想到的问题是，在一个多元回归模型中，是不是每一个引入的自变量对因变量都有实实在在的影响呢？这样的影响是显著的吗？我们应不应该在模型中保留这一变量呢？

在回答这些问题之前，我们先回顾一下总体模型：
$$Y={\beta }_0+\sum _{i=1}^p{X}_i{\beta }_i+ϵ$$其中：
$$ϵ\sim N(0,{\sigma }^2)$$
让我们聚焦众多参数中的一个：β_i 。β_i 的意义是什么呢？当其他变量保持不变，而只有 X_i 变动时，每变动一个单位的 X_i，就会让 Y 平均变动 β_i 个单位。而若 X_i 的变动能够确确实实引起 Y 的变动， 那么 β_i 应该不等于0。换句话说，若可以验证 β_i 不为0，那么就可以证明X_i 与 Y 存在线性相关关系。

【注1】 这里的关系是线性的。二次即更高阶的相关性并不能由 β_i 是否等于0体现；
【注2】 X_i 与 Y 存在相关关系，并不能证明二者之间存在 因果关系（Causality）。

然而，我们现在只有 β_i 的估计量 β^_OLS,i ，而估计量与参数的真实值有一定的误差。由于 β^_OLS,i 是一个统计量，因此只要我们在统计意义下验证 β_i 是否等于零就可以了。

至此，我们就可以构造一个如下的假设检验问题：

$$\begin{gathered} H_0:{\beta }_i=0 \\ {H}_1:{\beta }_i\ne 0 \end{gathered}$$

2.2 检验统计量——t统计量的构造

若想构造检验统计量，我们需要先对 β^_OLS,i 进行变型。

记矩阵 (X^TX)^-1 的对角线元素：

$$\text{diag}({\mathbf{X}}^T\mathbf{X}{)}^{-1}=(v_{i,i}{)}_{p+1}$$

由第一部分中 β^_OLS 服从的分布，我们可以得到 β^_OLS,i 的分布：

$${\hat{\beta }}_{OLS,i}\sim N({\beta }_i,{\sigma }^2{v}_{i,i}),i=0,1,...,p$$

将 β^_OLS 标准化，有：
$$\sigma \sqrt{v^{}}$$