程序员学CFA——数量分析方法（六）

假设检验

假设检验的步骤

假设检验的基本思想与步骤

先从一个真实的故事出发，来体会假设检验的基本思想与步骤。

这个故事是关于假设检验如何被伟大的统计学家费舍尔提出的。在费舍尔就职于剑桥大学时，有个每周二下午喝下午茶的习惯。参与下午茶的不仅有数学家，还包括物理学家、化学家等。一个周二下午，一位女士参与了进来。这位女士提出了这样一个观点：一杯茶叶中，即便奶与茶的比例相同，先加茶还是先加奶，味道是完全不同的。这位女士的观点遭到诸位科学家的反对，因为根据科学理论，只要配比相同且充分溶解，味道不应有所不同。于是，科学家们有了这样一个原假设：该女士并不具备区分奶茶与茶奶的能力。

为了验证这个假设，科学家们就泡了第一杯茶，让这位女士来判断这杯茶是先加了奶还是先加了茶，结果这位女士答对了。然而，这一次试验并不能推翻原假设，因为及时靠蒙，该女士也有50%的概率猜对。于是，那个下午，科学家们让这位女士一共喝了八杯茶，该女士全部答对。八次全部蒙对的概率仅有0.5⁸，无疑是个小概率事件。假设检验的基本思想就是小概率事件不会发生，当小概率事件发生时，我们更倾向于认为原假设是错误的。因此，科学家们拒绝了原假设，转而认为该女士具备区分奶茶与茶奶的能力。

这个下午过后，费舍尔回去就此事撰写了《科学实验设计》一书。该书由此事出发，探讨如何设计实验来判断女士的品茶能力是最科学的。该书在统计学历史上具有重要意义。不难发现，如果全部靠蒙，女士猜对先加奶还是先加茶的概率是服从二项分布的。于是可以根据实现给定的小概率α，来判断女士猜对的次数是否属于小概率。但是，假设检验的方法是有可能犯错误的，有可能女士没有这个能力，确实是蒙对了8次。

假设所有中国人的平均身高服从正态分布$N(\mu ,{\sigma }^2)$，如何检验“中国人的平均身高不高于160厘米”的声称是否成立？

估计与假设检验的区别

假设检验与参数估计的思想是不同的。参数估计是指利用抽样数据对总体参数进行直接估计，并得出总体参数的具体估计值；而假设检验则分为假设与检验两步，先形成一个对总体参数的假设，然后再利用抽样数据判断这个假设是否成立。

例如，参数估计是通过抽样调查部分中国人身高，计算出样本均值$\bar{X}$，并以此估计全体中国人平均身高$\mu$；而假设检验则是先形成一个命题，如“中国人平均身高$\mu$不高于160厘米”，然后通过抽样数据判断该命题是否成立。

假设检验的基本思想

如何检验上述命题是否成立呢？一个“笨”方法就是把所有中国人身高都量一遍，然后计算平均值，就可以准确判断命题是否成立了。显而易见，这个方法的成本太高，还是要运用抽样数据来判断。假设检验的基本思想是“小概率事件不会发生”。这是什么意思呢？假定抽样调查了1万个中国人，计算出来平均身高为180厘米。根据这组抽样数据，基本可以判断“中国人平均身高不高于160厘米”的命题是“错误”的。因为，如果中国人的平均身高真的低于160cm，抽样1万人的平均身高是180cm就应该是个小概率事件，而假设检验的基本思想是“小概率时间不会发生”，因此只能假设本身错了。

在上述过程中，我们假设抽样样本均值为180cm，这可以很显然地判断出命题不成立。然而，如果抽样样本的均值是161cm时，结论就没有那么显然了。161cm仅仅搞出命题中假设数据1cm，这1cm的差距完全有可能是抽样误差所导致的。在类似情况下，如何判断命题是否成立就必须利用到概率分布与显著性等其他相关信息。

假设检验的步骤

1. 建立需检验的假设。
2. 选择合适的检验统计量，并确定其服从的概率分布。
3. 选择判断假设是否成立的显著性水平。
4. 给出决策准则，即拒绝域的形式。
5. 收集数据，并计算检验统计量。
6. 做出判断。
7. 根据判断进行投资决策。

假设检验的相关概念

原假设与备择假设

假设检验的第一步就是建立假设。通常将被检验的假设称为原假设，记为$H_0$；当原假设$H_0$被拒绝时而接受的假设称为备择假设，记为$H_{\alpha }$或$H_1$。原假设与备择假设通常成对出现。上例中，原假设与备择假设可以用如下方式表示：
$$H_0:\mu \le 160vs{H}_{\alpha }:\mu >160$$
假设检验一般有两种结果：第一种是原假设“不正确”，称为拒绝原假设；第二种是原假设“正确”，称为无法拒绝原假设。

检验统计量及其分布

由抽样样本检验原假设通常是通过一个统计量来完成的，这个统计量称为检验统计量。检验统计量通常服从某个概率分布，于是可以通过计算检验统计量是否超过某一关键值来判断是否拒绝原假设。检验统计量常以下式的形式出现：
$$检验统计量=\frac{样本统计量-H_{\alpha }成立时的总体参数}{样本统计量的标准误}$$
如上例中，检验统计量就可以通过样本均值$\bar{X}$来构建。由中心极限定理，$\bar{X}$服从正态分布$N(\mu ,{\sigma }^2/n)$，按照上式标准化后就服从标准正态分布。

显著性水平

有了检验统计量后，结合显著性水平就可以得到关键值及拒绝域。关键值是判断是否拒绝原假设的临界值。拒绝域是由原假设被拒绝的检验统计量所组成的区域。

在上例中，假设显著性水平为5%，$\bar{X}$标准化后服从标准正态分布，那么关键值就是1.65。

双尾检验与单尾检验

假设检验通常有三种基本形式：

1. $H_0:\theta ={\theta }_{0}vs{H}_{\alpha }:\theta \ne {\theta }_0$
2. $H_0:\theta \le {\theta }_{0}vs{H}_{\alpha }:\theta >{\theta }_0$
3. $H_0:\theta \ge {\theta }_{0}vs{H}_{\alpha }:\theta <{\theta }_0$

其中，$\theta$表示总体参数，${\theta }_0$表示当$H_0$成立时总体参数的取值。

第一种形式称为双尾检验，第二种与第三种形式称为单尾检验。无论是单尾还是双尾检验所采用的检验统计量都是相同的，差别主要体现在拒绝域上。因此，区分单尾检验与双尾检验对确定关键值以及拒绝域至关重要。

p值

除了比较检验统计量与关键值，另一种判断是否拒绝原假设的方法就是p值。p值指拒绝原假设的最小显著性水平。根据p值定义，在给定显著性水平$\alpha$的情况下，如果$p\le \alpha$，则拒绝原假设；如果$p>\alpha$则无法拒绝原假设。

例如，在下图中，要进行显著性水平为5%的双尾检验。已知p值=2.14%，意味着左侧（右侧）对应的尾部面积为1.07%，即统计量的绝对值大于$z_{2.5\%}$，应该要拒绝原假设。当然，也可以直接利用p值进行判断，p值=2.14%<5%，因此应该要拒绝原假设。

第一类错误与第二类错误

虽然假设检验的基本思想是“小概率事件不会发生”，但在真实世界中，小概率事件当然是有可能发生的。因而，在判断假设是否成立时就有可能犯错误。检验时可能犯的错误可归为两类：一是当原假设$H_0$真实成立时，却拒绝了原假设，称为第一类错误，也称为“拒真概率”；二是当原假设$H_0$不成立时，却接受了原假设，称为第二类错误，也称为“受伪概率”。

决策	$H_0$正确	$H_0$错误
没有拒绝$H_0$	正确决策	第二类错误（犯错概率=$\beta$）
拒绝$H_0$接受$H_{\alpha }$	第一类错误（犯错概率=$\alpha$）	正确决策（Power of test：概率$1-\beta$）

通常将犯第一类错误的概率记为$\alpha$，这里的$\alpha$实际上就是假设检验中的显著性水平；犯第二类错误的概率记为$\beta$。此外，当原假设$H_0$正确时接受原假设，当原假设$H_0$错误时拒绝原假设，都表明决策者做出了正确的抉择没有犯错。特别地，将决策者不犯第二类错误的概率称为统计检验力，记为$1-\beta$。

统计显著与经济显著

在利用假设检验进行金融分析时，应当注意区别统计显著与经济显著。例如，许多投资策略在假设检验上能够获得正收益，然而在扣除交易费用、税收并考虑率风险后就无法经济显著获得正收益。

正态总体的假设检验

在实务中，对总体均值或方差的检验非常常见。假设总体服从正态分布，下文将依次介绍单个正态总体或两个正态总体下，分别应使用什么类型的检验统计量去检验有关均值、方差、以及相关系数的假设。

正态总体均值的检验

单个正态总体均值的检验

单个总体均值的检验，即将总体均值与某一常数做比较，原假设与备择假设如下：
$$\begin{gathered} H_0:\mu ={\mu }_{0}vs{H}_{\alpha }:\mu \ne {\mu }_0 \\ {H}_0:\mu \le {\mu }_{0}vs{H}_{\alpha }:\mu >{\mu }_0 \\ {H}_0:\mu \ge {\mu }_{0}vs{H}_{\alpha }:\mu <{\mu }_0 \end{gathered}$$
在上篇博文中，已经指出如下几点：

1. 当总体方差已知时，检验单个总体均值采用z统计量。
2. 当总体方差未知时，用样本方差代替总体方差，采用t统计量。
3. 当总体方差未知，但样本容量足够大时也可以采用z统计量。

上述三种情形下，z统计量与t统计量的公式如下：
$$z=\frac{\bar{X}-{\mu }_0}{\frac{\sigma }{\sqrt{n}}}$$
$$t_{n-1}=\frac{\bar{X}-{\mu }_0}{\frac{s}{\sqrt{n}}}$$
$$z=\frac{\bar{X}-{\mu }_0}{\frac{s}{\sqrt{n}}}$$

两个正态总体均值的检验

要比较两个正态总体均值时，可以分为两种情形讨论。

1. 两个总体相互独立
   此情形下，原假设与备择假设如下：
   $$\begin{gathered} H_0:{\mu }_1-{\mu }_2=d_{0}and{H}_{\alpha }:{\mu }_1-{\mu }_2\ne d_0 \\ {H}_0:{\mu }_1-{\mu }_2\ge d_{0}and{H}_{\alpha }:{\mu }_1-{\mu }_2<d_0 \\ {H}_0:{\mu }_1-{\mu }_2\le d_{0}and{H}_{\alpha }:{\mu }_1-{\mu }_2>d_0 \end{gathered}$$
   其中，${\mu }_1$表示第一个总体的均值；${\mu }_2$表示第二个总体的均值。在选择检验统计量时，又要细分为两个情形。
   当两个总体的方差未知但假定相等时（${\sigma }_1^2={\sigma }_2^2$），采用t统计量，公示如下：
   $$t=\frac{({\bar{X}}_1-{\bar{X}}_2)-({\mu }_1-{\mu }_2)}{(\frac{s_p^2}{n_1}+\frac{s_p^2}{n_2}{)}^{1/2}}where{s}_p^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}$$
   其中，t统计量的自由度为$n_1+n_2-2$。
   当两个总体的方差未知但假定不相等时（${\sigma }_1^2\ne {\sigma }_2^2$），采用t统计量，公示如下：
   $$t=\frac{({\bar{X}}_1-{\bar{X}}_2)-({\mu }_1-{\mu }_2)}{(\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}{)}^{1/2}}wheredf=\frac{(\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}{)}^2}{\frac{(s_1^2/n_1{)}^2}{n_1}+\frac{(s_2^2/n_2{)}^2}{n_2}}$$
   其中，t统计量的自由度df如上式所述。

2. 两个总体相互不独立
   当两个总体相互不独立时，意味着两个总体的样本存在某种关联。此时做均值检验时必须采取成对检验，原假设与备择假设如下：
   $$\begin{gathered} H_0:{\mu }_d={\mu }_{0}vs{H}_{\alpha }:{\mu }_d\ne {\mu }_0 \\ {H}_0:{\mu }_d\le {\mu }_{0}vs{H}_{\alpha }:{\mu }_d>{\mu }_0 \\ {H}_0:{\mu }_d\ge {\mu }_{0}vs{H}_{\alpha }:{\mu }_d<{\mu }_0 \end{gathered}$$
   其中，${\mu }_d={\mu }_1-{\mu }_2$，表示两个总体均值之差，${\mu }_0$通常为0。
   此时，应该采取t统计量，公示如下：
   $$t=\frac{\bar{d}-{\mu }_{d_0}}{s_{\bar{d}}}$$
   其中，$\bar{d}$表示样本均值差；$s_{\bar{d}}$表示$\bar{d}$的标准误；t统计量自由度为n-1。

正态总体方差的检验

单个正态总体方差的检验

检验单个总体方差的原假设与备择假设如下：
$$\begin{gathered} H_0:\sigma ={\sigma }_{0}and{H}_{\alpha }:\sigma \ne {\sigma }_0 \\ {H}_0:\sigma \ge {\sigma }_{0}and{H}_{\alpha }:\sigma <{\sigma }_0 \\ {H}_0:\sigma \le {\sigma }_{0}and{H}_{\alpha }:\sigma >{\sigma }_0 \end{gathered}$$
在此情形下，应采用卡方统计量，其公式如下：
$${\chi }_{n-1}^2=\frac{(n-1)s^2}{{\sigma }_0^2}$$
其中，${\chi }_{n-1}^2$表示卡方统计量；自由度为n-1。

两个正态总体方差的检验

当检验两个不同总体方差是否相等时，原假设与备择假设为：
$$H_0:{\sigma }_1={\sigma }_{2}and{H}_{\alpha }:{\sigma }_1\ne {\sigma }_2$$
此情形下要使用F分布，其公式如下：
$$F=\frac{s_1^2}{s_2^2}withdfof(n_1-1,n_2-1)$$
其中，F分布自由度为$df$；$n_1$表示来自第一个总体抽样的样本容量；$n_2$表示来自第二个总体抽样的样本容量；$s_1^2$表示来自第一个总体抽样的样本方差；$s_2^2$表示来自第二个总体抽样的样本方差。一般情况下，将较大的样本方差放在分子上，即$s_1^2>s_2^2$。

均值检验：

不同情形	检验统计量	服从分布
单个正态总体，方差已知	$z=\frac{\bar{X}-{\mu }_0}{\frac{\sigma }{\sqrt{n}}}$	$N(0,1)$
单个正态总体，方差未知	$t_{n-1}=\frac{\bar{X}-{\mu }_0}{\frac{s}{\sqrt{n}}}$	$t(n-1)$
两个正态总体，独立样本，方差未知但相等	$t=\frac{({\bar{X}}_1-{\bar{X}}_2)-({\mu }_1-{\mu }_2)}{(\frac{s_p^2}{n_1}+\frac{s_p^2}{n_2}{)}^{1/2}}$	$t(n_1+n_2-2)$
两个正态总体，独立样本，方差未知但不相等	$t=\frac{({\bar{X}}_1-{\bar{X}}_2)-({\mu }_1-{\mu }_2)}{(\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}{)}^{1/2}}$	$t(\frac{(\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}{)}^2}{\frac{(s_1^2/n_1{)}^2}{n_1}+\frac{(s_2^2/n_2{)}^2}{n_2}})$
两个正态总体，不独立样本，成对检验	$t=\frac{\bar{d}-{\mu }_{d_0}}{s_{\bar{d}}}$	$t(n-1)$

方差检验：

不同情形	检验统计量	服从分布
单个正态总体	${\chi }_{n-1}^2=\frac{(n-1)s^2}{{\sigma }_0^2}$	${\chi }_{n-1}^2$
两个正态总体	$F=\frac{s_1^2}{s_2^2}$	$F(n_1-1,n_2-1)$

相关系数的假设检验

检验相关系数的原假设与备择假设如下：
$$\begin{gathered} 原假设H_0:\rho =0 \\ 备择假设H_{\alpha }:\rho \ne 0 \end{gathered}$$
相关系数检验选取的统计量服从t分布，自由度为n-2，其公式为：
$$t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}$$
其中，r为样本相关系数；n为样本容量；n-2为自由度。

参数检验与非参数检验

按照假设的对象，假设检验可以分为参数检验与非参数检验两种。到目前为止，介绍的检验都是参数检验，如z检验、t检验、F检验等。

参数检验的重要特征有以下两项。

1. 参数检验都与总体参数相关。
2. 参数检验一般事先假定总体服从某个特定分布。

然而，在有些情形下，关注的不是总体分布的参数，而是基于总体分布的形式建立假设检验。这就需要用到非参数检验，非参数检验一般适用于以下三种情形。

1. 总体分布未知，或样本数据并不满足服从某个特定分布。
2. 按照等级分类的数据。
3. 假设不涉及总体参数。