如果常数项没有经过显著性检验_一文详解F检验

F检验是被誉为现代统计学之父的R.A. Fisher爵士提出、由George W. Snedecor命名的统计检验方法，主要用于方差齐性检验、方差分析等等。

本文介绍F检验的如下应用：

1. 方差齐性检验（F-test of equality of variances）
2. 方差分析（Analysis of Variance, ANOVA）
3. 线性回归方程整体的显著性检验

其中第二条方差分析分很多种类，根据因素的多少可分为单因素方差分析和多因素方差分析；根据试验设计可分为完全随机设计和随机区组设计等；根据交互项又可分为无交互项的方差分析和有交互项的方差分析等；又有完全随机设计、随机区组设计、拉丁方设计、析因设计、正交设计、平衡不完全区组设计等等很多可能相互重叠但概念又不尽相同的类型。本文在方差分析这一点只介绍最简单的一种——完全随机设计的单因素方差分析，其他类型的方差分析，除了可能涉及到如何科学地进行试验设计的知识，方差分析的基本思想都是相同的。其他类型的方差分析具体见参考文献[1]，有关试验设计（Design of Experiment, DOE）的知识见参考文献[2]。

1.方差齐性检验

目的：方差齐性是方差分析和一些均数比较

检验的重要前提，利用

检验进行方差齐性检验是最原始的，但对数据要求比较高。

要求：样本来自两个独立的、服从正态分布的总体。

检验原理

记两独立总体为：

从两总体中抽取的样本为：

定义样本均值和样本方差：

方差齐性双侧检验的原假设和备择假设：

，即两总体方差相等

，即两总体方差不等

由

分布的构造定义：

其中

分别为

分子自由度和分母自由度。

在

成立的条件下，即

成立的条件下：

一般约定取较大的方差作为分子，较小的方差作为分母，这样计算出来的

，缩小了范围，便于查表做出结论。给定显著性水平

，利用样本数据计算统计量

，若

，这在一次抽样中几乎是不可能发生的（其发生的可能性为

值）此时拒绝原假设，认为方差不齐，否则就不拒绝原假设（即认为方差齐）。

对于单侧检验：

若利用样本计算出来的统计量

，则拒绝原假设，否则不拒绝原假设。

对于单侧检验：

若

，则拒绝原假设，否则不拒绝原假设。

2.完全随机设计的单因素方差分析（completely randomized design one-way ANOVA）

假设我们要研究一个因素对于一个指标的影响，试图比较这个因素内各个取值水平对于这个指标的影响是否相同。譬如我们要研究饲料对于鸡的增重的影响，这里面饲料就是一个因素，相同时间内鸡的增重就是研究的指标，饲料可能有很多种配方，不同的配方就代表饲料这个因素的不同的水平，我们对于每个水平做试验（每个水平的试验次数可以不同），可以得到如下的结果（数据是编造的）：

其中共有r个水平，每个水平的试验次数不一定相同，从这些数据显然可以看出Yr的均值最大，且Y1比Y2大。但这只是我们直观上的判断，要给出科学依据就要用到方差分析（Analysis of Variance, ANOVA），这里只考虑了一个因素Y，所以是单因素方差分析，这是最简单的方差分析。所有的方差分析研究的都是因子的不同水平是否有差异，这个差异就是看同一因子的各个水平下的指标的均值的差异是否显著。但我们不能想当然地直接将各个水平的指标平均、比较然后得到结论，这样又是刚才说的直观的判断。因为也许客观来说真的是直观上的结论，但抽样是有误差的，如何证明各个水平的差异不是由抽样的误差造成的呢？譬如上面这个例子中，假如，假如，假如各个水平的影响是相同的（

），由于抽样误差导致这么大的差异，在一次抽样中是小概率事件，极有可能让我们怀疑原假设。从这个意义上说，如何度量“抽样得到的各个水平的差异'更多地'是来自各个水平自身的差异，'较少地'来自抽样误差便成了这个假设检验问题的关键（关于这个问题更多的探讨，对方差分析（ANOVA）的直观解释及计算给出了三种情形，图文并茂很好理解），Fisher爵士可能就是这样自然地想到了利用这两种差异的比值构造

统计量：

其中

是各个水平之间的偏差平方和，也可以说成是

组间平方和（ Sum of Square Between Groups），

是各个水平内部的偏差平方和，可以说成是

组内偏差平方和，可以理解为上面说的误差的平方和（ Sum of Square Error），

分别是它们的自由度。那就有疑问了，为什么不直接把

作为判断依据呢，而是要各自除以一个“难以理解”的自由度？这是因为

都只是偏差的平方和，倘若这两个计算的数量不一样，譬如

计算了十个偏差的平方和，而

只计算了五个，那么

就会又因为组间、组内这些数量而无法度量。除以自由度得到的就是

方差，从而保证了这两个偏差的平方和在 平均意义下是可比的，由此引出组间方差和组内方差的概念：

组间方差（组间变异）：

，又可以称为由因素自身产生的

变异
组内方差（组内变异）：

，又可以称为由误差产生的

变异，又称为均方误差（ Mean Square Error, MSE）

上面从直观上给出了定性的描述，下面从数学角度给出定量地分析，不过随之而来的是一群张牙舞爪的符号和晦涩难懂的推导。

以

表示因素

的不同的水平/组别，共有

个水平/组别；

表示不同的试验，一般情况下，不同组别的试验数不同，

表示在第

个组下第

次试验得到的指标。譬如在开头的例子中，

表示在第2种饲料配方（第2组）下第4次试验得到的指标（鸡的增重）为12。

接着我们给出方差分析的基本假定：每一水平的总体服从均值为0的正态分布且各总体方差相等，即：

，且

相互独立。

我们取各个总体的均值：

，现在做出假设：

不全相等

注意，这里的

是总体的均值，是客观存在的固定的常数，但我们未知，我们就是要利用方差分析来判断它们在统计学意义上是否相等。若

成立，则我们认为因素

的各个水平的差别是不显著的，我们称因素

不显著。若拒绝了

，则我们认为

中至少有两个水平从差别是显著的，我们称因素

显著。提出了原假设和备择假设，下面就是漫长的推理过程了。

这里我们仅证明各个水平试验次数相同的情况，各个水平试验不同的情况见参考文献[2]。设每个水平

进行了

次试验，则总试验次数

。每个水平

下试验得到的数据

与

该水平总体的均值

是有差异的，我们记这个差异为：

可以推出：

接着我们定义总体的总均值：

定义因素

第

水平的

主效应=第

个水平的总体均值与总均值的差（主效应的概念在试验设计中很重要）：

以

表示第

个水平的样本均值，定义第

个水平的样本均值与总体均值的差：

由此推出：

定义样本的总均值：

样本的总均值和总体的总均值的差：

由此推出：

疯狂定义了这么多，让我们画张图来梳理一下，为了简洁，我只画出两个水平，以黑色图形代表可以从样本中获取的、已知的；红色图形代表与总体有关的、未知的。

希望没有把大家绕晕，如果有，不妨再把这些符号写一遍：

1. 是第
   个水平的总体均值
2. 是第
   个水平的样本均值
3. 是第
   个水平第
   个试验的值与该水平总体均值的差，反应了第
   个水平内部各个试验的误差
4. 是第
   个水平的样本均值与总体均值的差，反应了第
   个水平内部 试验的平均误差
5. 是第
   个水平的总体均值与总均值的差，称为主效应，反应了第
   个水平平均而言对指标的作用
6. 是样本的总均值和总体的总均值的差，反应了样本与总体之间平均而言的误差

现定义三种偏差/变异，它们都是偏差平方和的概念，而不是方差的概念：

1. 总偏差平方和（Sum of Square Total, SST）
   
   在一共
   次试验中，
   确定后，
   次试验只有
   次是可自由变动的，故
   的自由度为
   。
2. 组内偏差平方和，或称为误差偏差平凡和（Sum of Square Error, SSE）
   
   在一共
   次试验中，分为
   组，每组内的均值确定后，每组就少了一个可自由变动的试验，共
   组，故一共少了
   个可自由变动的试验，故
   的自由度为
3. 组间偏差平方和（Sum of Square Between Groups）
   
   一共
   组，试验确定后，只有
   个可自由变动，故
   的自由度为

定义完后，我们回过头看，这三个偏差平方和是分别将

在所有试验上遍历一遍，但它们的自由度不同。下面证明一个很重要的结论：

结论：

它的证明又要用到“加一项减一项”这个小技巧。首先我们有：

由此得到：

从而有

的分解：

而且它们自由度的也可以分解：

现在我们回归正题：推导出一个

统计量。

首先放数理统计的一个基本定理：

若

是来自正态分布

的样本，定义样本均值和样本方差：

，从而：

(1)

与

独立

(2)

(3)

接着我们考虑

。

由(1)知

，由

基本定理(3)：

且对于不同的

，该随机变量是独立的。由卡方变量的可加性以及

：

由(2)和(7)：

从而

即为自由度为

的卡方变量：

然后我们考虑

。

由于

，由

基本定理(2)：

。由

基本定理(3)：

由(7)、(10)和(4)：

在

成立的条件下：

从而

即为自由度为

的卡方变量：

下面证明

和

相互独立：

由基本定理(1)：

与均值

独立，从而

与

独立。而

是

的函数，从而

和

相互独立。

至此，根据

分布的构造定义：

我们定义上式中的分子和分母分别为：

取显著性水平

，当利用样本数据算得的

，可以认为这在一次抽样中几乎不可能发生，从而拒绝原假设，认为因素

显著。列出方差分析表如下：

3.线性回归方程整体的显著性检验

首先要说一点，线性回归方程的总变差也可以像方差分析一样分解：

总离差平方和=回归平方和+残差平方和

但是它们的英文缩写五花八门，譬如我知道的就有这么两种：

1.“SS?”型

总离差平方和=回归平方和+残差平方和
SST=SSR+SSE
SST：Sum of Squares for Total 总离差平方和
SSR：Sum of Squares for Regression 回归平方和
SSE：Sum of Squares for Erroe 误差平方和

2.“?SS”型

总离差平方和=能被回归方程解释的那部分的平方和+剩余平方和
TSS=ESS+RSS
TSS：Total Sum of Squares 总离差平方和
ESS：Explained Sum of Squares 能被回归方程解释的那部分的平方和，也翻译为回归平方和
RSS：Residual Sum of Squares 剩余平方和，也翻译为残差平方和

这里就统一用第一种以免引起误会吧。

首先给出多元线性回归方程的矩阵表达式：

其中：

其中

为

阶单位方阵。方程满足

满秩、Gauss-Markov条件、随机误差项服从正态分布等假定。

定义残差

，从而残差向量：

利用最小二乘估计，在一文详解t检验的附录2.1中已得到：

也就是：

看

的结构，取它的第一行与

相乘等于0，可以得到：

其中

表示

阶元素全为一的列向量。

定义

和

：

总离差平方和：

回归平方和：

残差平方和：

下面证明总离差平方和分解式

，最后两个等号应用了(11)、(12)：

考虑上式中的最后两项，由(11)、(12)和(13)：

从而：

.

我们不加证明地给出

统计量及方差分析表：

要注意的是对多元线性回归的

检验是用来检验线性方程整体的显著性，可以理解为“线性模型”这个假定对于解释被解释变量的变动是否显著，也就是说当方程的

检验不显著时，就要考虑非线性的模型了。

最后有个小结论：在一元线性回归中，对解释变量的

检验的

统计量的平方=对方程整体显著性

检验的

统计量，而且两个检验是等价的。

参考文献

[1]王炳顺等.医学统计学及SAS应用[M].上海交通大学出版社:上海,2009:95:135.

[2]George Casella,Roger L. Berger.Statistical Inference[M].Duxbury Press:Belmont, California,2001:521-534.

[3]Douglas C. Montgomery.Design and Analysis of Experiments[M].John Wiley & Sons:New York,2012.

[4]茆诗松,程依明,濮晓龙.概率论与数理统计教程[M].高等教育出版社:北京,2011:423-429.

[5]何晓群,刘文卿.应用回归分析[M].中国人民大学出版社:北京,2001:72-73.

[6]https://en.wikipedia.org/wiki/F-test