常用统计检验方法

1. 参数检验

以下检验方法往往需要基于随机变量服从某个指定分布的条件，或要求已知某些参数，如总体方差、总体均值。

1.1 Z检验

1.1.1 单正态样本的Z检验

$X_1,X_2,\dots ,X_n$为来自正态总体$N(\mu ,{\sigma }^2)$的一个样本，$\bar{X}$为样本均值。则构建统计量如下：

$$Z=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$

在总体方差${\sigma }^2$已知的情况下估计、检验总体均值$\mu$。

1.1.2 双正态样本的Z检验

$X_1,X_2,\dots ,X_{n_1}$为来自正态总体$X\sim N({\mu }_1,{\sigma }_1^2)$的一个样本；$Y_1,Y_2,\dots ,Y_{n_2}$为来自正态总体$Y\sim N({\mu }_2,{\sigma }_2^2)$的一个样本，构建统计量如下：

$$Z=\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\sim N(0,1)$$

若X和Y等方差，即${\sigma }_1^2={\sigma }_2^2={\sigma }^2$，上述统计量简化为：

$$Z=\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sigma \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim N(0,1)$$

在总体方差${\sigma }_1^2$和${\sigma }_2^2$均已知的情况下估计、检验两个正态总体的均值差${\mu }_1-{\mu }_2$。往往检验假设${\mu }_1-{\mu }_2=0$，从而检验两个总体的均值的差异是否显著。

1.2 t检验

1.2.1 单正态样本t检验

$X_1,X_2,\dots ,X_n$为来自正态总体$N(\mu ,{\sigma }^2)$的一个样本，$\bar{X}$为样本均值，$S^2$为样本方差。构建统计量如下：

$$t=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

在总体方差${\sigma }^2$未知的情况下估计、检验总体均值$\mu$。

1.2.2 双正态样本t检验

$X_1,X_2,\dots ,X_{n_1}$为来自正态总体$X\sim N({\mu }_1,{\sigma }^2)$的一个样本；$Y_1,Y_2,\dots ,Y_{n_2}$为来自正态总体$Y\sim N({\mu }_2,{\sigma }^2)$的一个样本，则构建统计量如下：

$$t=\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$

$$其中S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$

$$\text{（即方差的加权平均数，称为合并方差 pooled variance）}$$

故在总体方差${\sigma }^2$未知但必须相等的情况下估计、检验两个等方差 / 方差齐性的正态总体均值差${\mu }_1-{\mu }_2$。往往检验假设${\mu }_1-{\mu }_2=0$，从而检验两个总体的均值的差异是否显著。

1.2.3 成对样本t检验

从独立的随机变量X和Y中获取n对观察结果组成的样本$(X_1,Y_1),(X_2,Y_2),\dots ,(X_n,Y_n)$，往往认为每对数据的差独立，且服从同一个正态分布，即$D_i=X_i-Y_i\sim N({\mu }_D,{\sigma }_D^2)$。则构建统计量：

$$t=\frac{\bar{D}-{\mu }_D}{S_D/\sqrt{n}}$$

往往检验假设${\mu }_D=0$，即检验每对数据之差的总体期望与0是否有显著差异，进而推断X和Y的期望是否有显著差异。

1.2.4 皮尔逊相关系数t检验

从独立的两个正态随机变量X和Y中获取n对观察结果组成的样本$(X_1,Y_1),(X_2,Y_2),\dots ,(X_n,Y_n)$。${\mu }_X$、${\mu }_Y$分别为随机变量X和Y的总体期望；${\sigma }_X^2$、${\sigma }_Y^2$分别为随机变量X和Y的总体方差；$\bar{X}$、$\bar{Y}$为样本均值；$S_X^2$、$S_Y^2$为样本方差。

定义皮尔逊相关系数（Pearson correlation coefficient, PCC）为：

$${\rho }_{X,Y}=\frac{\mathrm{cov}(X,Y)}{{\sigma }_X{\sigma }_Y}=\frac{E[(X-{\mu }_X)(Y-{\mu }_Y)]}{{\sigma }_X{\sigma }_Y}$$

PCC衡量了XY的线性相关性，其值在-1和+1之间，距离-1越近说明X和Y负相关性越大，距离+1越近说明X和Y正相关性越大。样本PCC如下：

$$r_{XY}=\frac{{\sum }_{i=1}^n\left(X_i-\bar{Y}\right)\left(Y_i-\bar{Y}\right)}{\sqrt{{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^2}\sqrt{{\sum }_{i=1}^n{\left(Y_i-\bar{Y}\right)}^2}}=\frac{1}{n-1}\sum _{i=1}^n\left(\frac{x_i-\bar{x}}{s_x}\right)\left(\frac{y_i-\bar{y}}{s_y}\right)=\frac{\sum x_i{y}_i-n\bar{x}\bar{y}}{(n-1)s_x{s}_y}$$

针对样本PCC构建统计量：

$$t=\frac{r_{XY}-{\rho }_{X,Y}}{S_r}=\frac{r_{XY}-{\rho }_{X,Y}}{\sqrt{1-r_{XY}^2}/\sqrt{n-2}}\sim t(n-2)$$

往往检验假设${\rho }_{X,Y}=0$，进而推断X和Y是否线性相关。

1.3 ${\chi }^2$检验

1.3.1 单正态样本${\chi }^2$检验

$X_1,X_2,\dots ,X_n$为来自正态总体$N(\mu ,{\sigma }^2)$的一个样本，$\bar{X}$为样本均值，$S^2$为样本方差。构建统计量：

$${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$

在总体均值$\mu$未知的情况下估计、检验总体方差${\sigma }^2$。

1.4 F检验

1.4.1 双正态样本F检验

$X_1,X_2,\dots ,X_{n_1}$为来自正态总体$X\sim N({\mu }_1,{\sigma }_1^2)$的一个样本，$\bar{X}$为样本均值，$S_1^2$为样本方差；$Y_1,Y_2,\dots ,Y_{n_2}$为来自正态总体$Y\sim N({\mu }_2,{\sigma }_2^2)$的一个样本，$\bar{Y}$为样本均值，$S_2^2$为样本方差。构建统计量如下：

$$F=\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

在总体均值${\mu }_1$和${\mu }_2$均未知的情况下估计、检验两个正态总体方差的比值${\sigma }_1^2/{\sigma }_2^2$。往往检验假设${\sigma }_1^2/{\sigma }_2^2=1$，从而检验两个正态总体是否等方差（方差齐性）。

常见做法：先用F检验确定两个正态总体方差齐性，再通过1.2.2 双正态样本t检验检验两个正态总体的均值是否无显著差异，从而获知两个正态总体相同。

2. 非参检验（non-parametric tests）

以下检验方法不需要基于随机变量服从某个指定分布的条件，也不需要已知某些参数，如总体方差、总体均值。

2.1 符号检验（Sign Test）

从独立的随机变量X和Y中获取n对观察结果组成的样本$(X_1,Y_1),(X_2,Y_2),\dots ,(X_n,Y_n)$，往往认为每对数据的差是独立同分布的，即$D_i=X_i-Y_{i}areIID$。但$D_i$并不一定如1.2.3 成对样本t检验中所假设的那样服从正态分布。直接把$D_i$为正数或为负数的个数作为一个统计量，记为$n_{+}$和$n_{-}$。

假设样本X和样本Y的总体期望差异不显著，则每对数据之差$D_i$应对称分布在0点两侧，即$D_i$为正数和负数的个数应近似相等。因此$D_i>0$或$D_i<0$的个数均应服从二项分布（类比掷硬币）：$n_{+}or{n}_{-}\sim b(n,0.5)$。

根据二项分布的定义：

P { n + o r n − = k } = C n k 0. 5 k 0. 5 n − k P\{n_+ \quad or \quad n_- = k\} = C_n^k0.5^k0.5^{n-k} P{n+​orn−​=k}=Cnk​0.5k0.5n−k

则可以根据成对的样本数据中每对数据之差$D_i$大于0或小于0的个数k计算对应的概率，作为p值检验样本X和样本Y的总体期望没有显著差异的假设：若$D_i$为正数的个数过多（或为负数的个数过少），则说明X的总体期望偏向于大于Y；反之$D_i$为正数的个数过少（或为负数的个数过多），则说明X的总体期望偏向于小于Y。

2.2 Wilcoxon秩和检验（Wilcoxon rank-sum test）

$X_1,X_2,\dots ,X_{n_1}$为来自总体$X$的一个样本；$Y_1,Y_2,\dots ,Y_{n_2}$为来自总体$Y$的一个样本。将两个样本数据混合在一起后从大到小排序，样本X的数据在其中的下标（即秩）的和，减去$n_1(n_1+1)/2$（即样本X的数据均排在样本Y前的情况）后称为样本X的秩和（Rank Sum）。

若样本X的秩和过大，说明X的总体期望偏向于大于Y；反之样本X的秩和过小，说明X的总体期望偏向于小于Y（若样本X的秩和为0，则几乎可以确定X的期望小于Y）。秩和的分布可以通过排列组合精确计算，也可以通过置换检验获得的经验分布进行计算。

举例：
对于两组数据，A组：$1,3$；B组：$2,4,6,5$。两组数据混合后排序：$1,2,3,4,5,6$。则A组数据的秩和$RS(A)=1+3-(2\ast 3)/2=1$。将这六个数混合后重新分为A、B两组，所有的分组情况和对应每种情况中A组的秩和如下：

A	B	RS(A)
1,2	3,4,5,6	0
1,3	2,4,5,6	1
1,4	2,3,5,6	2
1,5	2,3,4,6	3
1,6	2,3,4,5	4
2,3	1,4,5,6	2
2,4	1,3,5,6	3
2,5	1,3,4,6	4
2,6	1,3,4,5	5
3,4	1,2,5,6	4
3,5	1,2,4,6	5
3,6	1,2,4,5	6
4,5	1,2,3,6	6
4,6	1,2,3,5	7
5,6	1,2,3,4	8

对于所有15种分组情况，A组数据的秩和小于等于1的个数只有2种，即 P { R S ( A ) ≤ 1 } = 2 / 15 ≈ 0.133 P\{RS(A) \le 1\} = 2/15 \approx 0.133 P{RS(A)≤1}=2/15≈0.133，因此可以在显著性水平0.133上认为A组数据的均值显著比B组小。

2.3 Wilcoxon符号秩检验（Wilcoxon signed-rank test）

从独立的随机变量X和Y中获取n对观察结果组成的样本$(X_1,Y_1),(X_2,Y_2),\dots ,(X_n,Y_n)$，往往认为每对数据的差是独立同分布的，即$D_i=X_i-Y_{i}areIID$。构建统计量如下：将$|D_i|$进行排序后，$D_i$为正数或负数的下标（即秩）相加，称为“符号秩”（signed-rank）。该方法相当于结合了2.1 符号检验和2.2 Wilcoxon秩和检验。

若正数的符号秩过大（或负数的符号秩过小），说明$D_i$偏向于大于零，即X偏向于大于Y；反之正数的符号秩过小（或负数的符号秩过大），说明$D_i$偏向于小于零，即X偏向于小于Y。因此对符号秩的检验，可以间接证明X和Y的总体期望是否有显著差异。符号秩的分布可以通过排列组合精确计算，也可以通过置换检验获得的经验分布进行计算。

2.4 分布检验

下面几个方法就是检验随机变量X是否符合某个分布的。

2.4.1 ${\chi }^2$拟合优度检验（Goodness-of-fit Test）

对随机变量X进行n次独立试验，将样本分为k个区间（bin）。$p_1,p_2,\dots ,p_k$为这k个区间上事件发生的概率，$T_i=n{p}_i$为每个区间上事件发生的理论频数；$f_1,f_2,\dots ,f_k$为这n次试验中每个区间上事件发生的次数，故$f_1/n,f_2/n,\dots ,f_k/n$即为每个区间上事件发生的频率。构建统计量衡量频率与概率的差距（也为样本频数和理论频数的差距）：

$${\chi }^2=\sum _{i=1}^k\frac{(f_i-T_i{)}^2}{T_i}=\sum _{i=1}^k\frac{n}{p_i}{\left(\frac{f_i}{n}-p_i\right)}^2=\sum _{i=1}^k\frac{f_i^2}{T_i}-n$$

当n足够大（$n\ge 50$）时，上述统计量服从${\chi }^2(k-1)$分布。若随机变量X服从某个想要检验的分布，则实际发生的频率与分布概率差距就不能过大，即上述统计量不得过大。因此常通过想要检验的分布的分布函数计算指定区间上的概率$p_i$或理论频数$T_i$，之后根据样本检验上述统计量是否过大（具体值根据显著性$\alpha$的要求决定，即${\chi }^2\ge {\chi }_{1-\alpha }^2$ ），从而检验随机变量X是否服从指定分布。

使用该方法进行分布拟合检验时，应注意以下几点：

• 若指定的分布函数中有r个根据样本估计出的参数，则统计量的自由度降为k-1-r。
• 实施该检验时最好保证每个区间内事件发生的理论频数$T_i$和样本频数$f_i$均在5以上，否则对区间进行合并。

2.4.2 偏度、峰度检验

随机变量X的标准化变量$\frac{X-E(X)}{\sqrt{D(X)}}$的三阶矩和四阶矩分别称为该变量的总体偏度${\nu }_1$和总体峰度${\nu }_2$：

$${\nu }_1=E\left[{\left(\frac{X-E(X)}{\sqrt{D(X)}}\right)}^3\right]=\frac{E\left[(X-E(X){)}^3\right]}{[D(X){]}^{3/2}}$$

$${\nu }_2=E\left[{\left(\frac{X-E(X)}{\sqrt{D(X)}}\right)}^4\right]=\frac{E\left[(X-E(X){)}^4\right]}{[D(X){]}^2}$$

$X_1,X_2,\dots ,X_n$为随机变量X的一个样本，$\bar{X}$为样本均值，样本的k阶中心矩为$B_k=\frac{1}{n}{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^k$，样本偏度$G_1$和样本峰度$G_2$如下：

$$G_1=B_3/B_2^{3/2}{G}_2=B_4/B_2^2$$

若随机变量X服从正态分布，则${\nu }_1=0,{\nu }_2=3$，且其样本偏度$G_1$和样本峰度$G_2$也服从正态分布：

$$G_1\sim N(0,\frac{6(n-2)}{(n+1)(n+3)})$$

$$G_2\sim N(3-\frac{6}{n+1},\frac{24n(n-2)(n-3)}{{(n+1)}^2(n+3)(n+5)})$$

常通过1.1.1 单正态样本的Z检验检验假设 ${\mu }_{G_1}=0$ 和 ${\mu }_{G_2}=3-\frac{6}{n+1}$，从而推断随机变量X是否服从正态分布。

2.5 独立性检验

统计推断还有一大类问题为对两个随机变量进行关联性分析，即推断两个随机变量是否独立，常用方法见下。

2.5.1 列联表${\chi }^2$检验

对两个变量组成的$r\times c$列联表进行检验，判断两个变量是否互相独立。若两个变量独立，则列联表中每个单元格中的理论频数为$E_{ij}=n{p}_{i\cdot }{p}_{\cdot j}$，$p_{i\cdot }$和$p_{\cdot j}$分别为第$i$行和第$j$列的边缘概率。思想类似2.4.1 ${\chi }^2$拟合优度检验，构建统计量衡量每个单元格的样本频数和理论频数的差距：

$${\chi }^2=\sum _{i,j}\frac{{\left(O_{ij}-E_{ij}\right)}^2}{E_{ij}}$$

上述统计量服从${\chi }^2[(r-1)\times (c-1)]$分布。假设行变量和列变量独立，则基于该假设计算出的理论频数与样本的频数的差距就不能过大，即上述统计量不得过大。因此常通过检验该统计量是否过大（具体值根据显著性$\alpha$的要求决定，即${\chi }^2\ge {\chi }_{1-\alpha }^2$），从而检验行变量和列变量是否独立。

2.5.2 Fisher精确检验（Fisher’s Exact Test）

对于一个列联表，为了检验列变量和行变量是否独立，则可以计算出与样本一致或更极端的情况的可能性作为p值来检验假设。而对于一个$2\times 2$的列联表，概率的计算可以通过超几何分布实现。如对于下面的列联表：

	$\alpha$	$\beta$	行加和
A	a	b	a+b
B	c	d	c+d
列加和	a+c	b+d	a+b+c+d=n

可以将这种表格理解为超几何分布，即n个物体中有a+b个A类物品，从中抽取a+c个（$\alpha$列），其中A类物品有a个。则该事件发生的概率为：

P { X = a ∣ n , a + b , a + c } = C a + b a C c + d c C n a + c P\{ X=a | n,a+b,a+c \} = \frac{C_{a+b}^aC_{c+d}^c}{C_{n}^{a+c}} P{X=a∣n,a+b,a+c}=Cna+c​Ca+ba​Cc+dc​​

加和样本和更极端的情况的概率（ P { X ≤ a } P\{X\le a\} P{X≤a}或 P { X ≥ a } P\{X \ge a\} P{X≥a}），作为p值检验行变量和列变量是否独立。

举例：
一个对男女是否节食的调查结果如下表：

	男	女	行加和
节食	1	9	10
不节食	11	3	14
列加和	12	12	24

上表的情况发生的概率（24个人中有10个人节食，12个男性，男性中仅有1个人节食的概率）：

P { X = 1 ∣ 24 , 10 , 12 } = C 10 1 C 14 11 C 24 12 P\{ X=1 | 24,10,12 \} = \frac{C_{10}^1 C_{14}^{11}}{C_{24}^{12}} P{X=1∣24,10,12}=C2412​C101​C1411​​

看出男性节食的相对较少，但比上表还有一种更极端的情况如下：

	男	女	行加和
节食	0	10	10
不节食	12	2	14
列加和	12	12	24

上表的情况发生的概率（24个人中有10个人节食，12个男性，男性中没有人节食的概率）：

P { X = 1 ∣ 24 , 10 , 12 } = C 10 0 C 14 12 C 24 12 P\{ X=1 | 24,10,12 \} = \frac{C_{10}^0 C_{14}^{12}}{C_{24}^{12}} P{X=1∣24,10,12}=C2412​C100​C1412​​

因此若找24个人，其中有10个人节食，12个男性，男性节食的人数小于等于1的概率：

P { X ≤ 1 ∣ 24 , 10 , 12 } = C 10 0 C 14 12 C 24 12 + C 10 0 C 14 12 C 24 12 ≈ 0.00138 P\{ X \le 1 | 24,10,12 \} = \frac{C_{10}^0 C_{14}^{12}}{C_{24}^{12}} + \frac{C_{10}^0 C_{14}^{12}}{C_{24}^{12}} \approx 0.00138 P{X≤1∣24,10,12}=C2412​C100​C1412​​+C2412​C100​C1412​​≈0.00138

可以拒绝零假设（男女节食没有差异），认为男性的节食人数显著比女性少，p值为0.00138。