概率论与数理统计教程(八)-方差分析与回归分析04：一元线性回归02

8.4.4 回归方程的显著性检验
从回归系数的 LSE 可以看出, 对任意给出的 $n$ 对数据
$\left(x_i,y_i\right)$, 都可以求出
${\hat{\beta }}_0,{\hat{\beta }}_1$,

从而可写出回归方程 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$,
但是这样给出的回归方程不一定有意义.
在使用回归方程以前, 首先应对回归方程是否有意义进行判断.
什么叫回归方程有意义呢? 我们知道, 建立回归方程的目的是寻找 $y$ 的均值随
$x$ 变化的规律, 即找出回归方程 $E(y)={\beta }_0+{\beta }_{1}x$. 如果
${\beta }_1=0$, 那么不管 $x$ 如何变化, $E(y)$ 不随 $x$
的变化作线性变化,那么这时求得的一元线性回归方程就没有意义,
或称回归方程不显著.如果 ${\beta }_1\ne$ 0 ,那么当 $x$ 变化时, $E(y)$ 随
$x$
的变化作线性变化,那么这时求得的回归方程就有意义,或称回归方程是显著的.
综上,对回归方程是否有意义作判断就是要对如下的检验问题作出判断：
$$H_0:{\beta }_1=0\text{ vs }{H}_1:{\beta }_1\ne 0,$$
拒绝 $H_0$ 表示回归方程是显著的.
在一元线性回归中有三种等价的检验方法, 使用中只要任选其中之一即可.
下面分别加以介绍.
- $F$ 检验
采用方差分析的思想,我们从数据出发研究各 $y_1$ 不同的原因.
首先引人记号并称 ${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i$ 为
$x_i$ 处的回归值, 又称 $y_i-{\hat{y}}_i$ 为 $x_i$ 处的残差.
数据总的波动用总偏差平方和
$$S_T=\sum {\left(y_i-\bar{y}\right)}^2=l_y$$
表示. 引起各 $y_i$ 不同的原因主要有两类因素: 其一是 $H_0$ 可能不真,
即 ${\beta }_1\ne 0$, 从而 $E(y)={\beta }_0+{\beta }_{1}x$ 随 $x$
的变化而变化, 即在每一个 $x$ 的观测值处的回归值不同, 其波动用回归平方和
$$S_R=\sum {\left({\hat{y}}_i-\bar{y}\right)}^2$$
表示; 其二是其他一切因素,包括随机误差、 $x$ 对 $E(y)$ 的非线性影响等,
这样在得到回归值以后, $y$ 的观测值与回归值之间还有差距, 这可用残差平方和
$$S_e=\sum {\left(y_i-{\hat{y}}_i\right)}^2$$
表示.
为对上述诸平方和实施方差分析, 下面我们要证明重要的平方和分解式,
为此首先注意到 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 满足正规方程组
(8.4.7), 因此有
$$\begin{array}{c}\sum \left(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i\right)=0\Rightarrow \sum \left(y_i-{\hat{y}}_i\right)=0,\\ \sum \left(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i\right)x_i=0\Rightarrow \sum \left(y_i-{\hat{y}}_i\right)x_i=0.\end{array}$$

利用
${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i=\bar{y}+{\hat{\beta }}_1\left(x_i-\bar{x}\right)$,
可得
$$\sum \left(y_i-{\hat{y}}_i\right)\left({\hat{y}}_i-\bar{y}\right)=\sum \left(y_i-{\hat{y}}_i\right)\left[{\hat{\beta }}_1\left(x_i-\bar{x}\right)\right]={\hat{\beta }}_1\left[\sum \left(y_i-{\hat{y}}_i\right)x_i-\sum \left(y_i-{\hat{y}}_i\right)\bar{x}\right]=0,$$
从而
$$S_T=\sum {\left(y_i-\bar{y}\right)}^2=\sum {\left(y_i-{\hat{y}}_i+{\hat{y}}_i-\bar{y}\right)}^2=\sum {\left(y_i-{\hat{y}}_i\right)}^2+\sum {\left({\hat{y}}_i-\bar{y}\right)}^2,$$
即
$$S_T=S_R+S_e,$$
上式就是一元线性回归场合下的平方和分解式.
关于 $S_R$ 和 $S$, 所含有的成分可由如下定理说明.
定理 8.4.2 设 $y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i$, 其中
${\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n$ 相互独立, 且
$$E\left({\epsilon }_i\right)=0,\mathrm{Var}\left({\epsilon }_i\right)={\sigma }^2,i=1,2,\cdots ,n,$$
沿用上面的记号,有
$$\begin{array}{l}E\left(S_R\right)={\sigma }^2+{\beta }_1^2\end{array}$$