Wilcoxon 检验之 rank-sum 与 signed-rank

前些时候在写作时碰到了 Wilcoxon 检验，仔细一查，发现这里面居然还包含 2 种不同类型的检测，并且极容易混淆，这 2 种分别方法是 Wilcoxon rank-sum test（我翻译为秩和检验）和 Wilcoxon signed-rank test（我翻译为符号秩检验）。今天我简单总结一下，对比一下他们的差异。

Frank Wilcoxon (1892—1965) 是美国的统计学家，发表了 70 篇左右论文，但其最大的贡献就是这 2 个以他名字命名的非参假设检验方法：秩和检验 和 符号秩检验。他在 1945 年发表的论文 ¹ 中将二者分别称为 非成对检验 （unpaired experiment）和 成对检验（paired comparison）。 正是因为其巨大影响力使得这两个检验方法都以他的名字命名，并流传下来。

假设检验有点类似于我们高中数学中常见的“反证法”，即提出一个错误的假设，然后证明它是错的。那么我们提出的假设叫做 原假设 (Null Hypothesis)，简写为 $H_0$。我们备选的假设叫做 备选假设 (Alternative Hypothesis)，简写为 $H_{\alpha }$ 或者 $H_1$。注意，在假设检验中只有 2 个假设，即原假设和备选假设，我们的目的就是要拒绝原假设。

在假设检验过程中，我们一般设定原假设 $H_0$ 和备选假设 $H_1$ 如下，

• 原假设 $H_0$：两组数据没有显著性差异
• 备选假设 $H_1$：两组数据存在显著性差异

1. Wilcoxon 秩和检验

根据 wikipedia 解释， Wilcoxon rank-sum test 定义如下，

In statistics, the Mann–Whitney U test (also called the Mann–Whitney–Wilcoxon (MWW), Wilcoxon rank-sum test, or Wilcoxon–Mann–Whitney test) is a nonparametric test.
This test can be used to determine whether two independent samples were selected from populations having the same distribution. ²

基本概念： 在统计学中，Wilcoxon rank-sum test（威尔科克森秩和检验）也叫 Mann-Whitney U test（曼-惠特尼 U 检验），或者 Wilcoxon-Mann-Whitney test。秩和检验是一个非参的假设检验方法，一般用来检测 2 个数据集是否来自于相同分布的总体。

这里的 “秩” 其实就是 “排名” 的意思，“秩和” 当然就是指 “将排名进行求和” 的操作。在秩和检验中，我们不要求被检验的 2 组数据包含相同个数的元素，换句话说，秩和检验更适用于非成对数据之间的差异性检测。

应用实例： 假设我们有 2 组数据 $x_1$ 和 $x_2$，如下表所示，$x_1$ 中有 7 个元素（列 $x_1$ 中），$x_2$ 中有 8 个元素（列 $x_2$ 中），现在使用秩和检验判断这 2 组数据是否存在显著性差异。

数据 $x_1$	总排名 $rank$	数据$x_2$	总排名 $rank$
9	14	7	11
5	5.5	4	3
8	13	5	5.5
7	11	6	8
10	15	3	1
6	8	6	8
7	11	4	3
		4	3

步骤 1：我们首先将 $x_1$ 和 $x_2$ 整合成一个序列，并按升序重新排序，序号记在表中的 $rank$ 列当中。我们分别计算 2 组数据的排名之和 $R_1$ 和 $R_2$ 有，

$$R_1=(14+5.5+13+11+15+8+11)=77.5$$ $$R_2=(11+3+5.5+8+1+8+3+3)=42.5$$

注意，当我们计算若干等值元素的排名时，会用这些元素排名的平均值作为它们在整个序列中的排名。例如，$x_1$ 中的第 2 个元素与 $x_2$ 中第3 个元素的值都等于 5，且这 2 个 5 在整个序列中的排名分别是第 5 和第 6，因此这两个元素的排名为 $\frac{5+6}{2}=5.5$。其余等值元素的排名计算也与之类似。

步骤 2：令 $n_1$ 和 $n_2$ 分别表示 2 组数据的个数，即 $n_1=7,n_2=8$。再令 $T$ 表示小样本的排名和，即 $T=R_1=77.5$。根据计算公式可得 $U_1$ 和 $U_2$ 的值如下，

$$U_1=n_1\times n_2+\frac{n_1(n_1+1)}{2}-T=7\times 8+\frac{7\times 8}{2}-77.5=6.5$$ $$U_2=n_1\times n_2-U_1=7\times 8-6.5=49.5$$

步骤 3：由于 $U_1$ 更小，我们依此来查 Wilcoxon 双尾临界表，当 $\alpha =0.05,n_1=7,n_2=8$ 时的临界值是 10。因为 $U_1<10$，故应该拒绝原假设。最终结论是：$x_1$ 和 $x_2$ 存在统计意义上的显著性差异，它们可能来自分布不同的总体。

编程实现： 在 python 中我们调用 scipy 包来里的 stats.mannwhitneyu() 函数来实现秩和检验，如下代码，

from scipy import stats
def wilcoxon_rank_sum_test(x, y):
	res = stats.mannwhitneyu(x ,y)
	print(res)

得到的结果如下，可知 statistic 即我们的 $U_1$ 值 $U_1$ = statistic = 6.5，pvalue 即我们的 p-value 值 pvalue=0.0069…

> MannwhitneyuResult(statistic=6.5, pvalue=0.006966479792405637)

2. Wilcoxon 符号秩检验

根据 wikipedia 解释， Wilcoxon signed-rank test 定义如下，

A Wilcoxon signed-rank test is a nonparametric test that can be used to determine whether two dependent samples were selected from populations having the same distribution. ³

基本概念： Wilcoxon signed-rank test（威尔科克森符号秩检验）也是一种非参的假设检验方法，它成对的检查 2 个数据集中的数据（即 paired difference test）来判断 2 个数据集是否来自相同分布的总体。

应用实例： 假设我们有 2 组数据 $y_1$ 和 $y_2$，如下表所示。我们按照如下 3 步来计算 wilcoxon signed-rank test 的结果。

$ID$	数据 $y_1$	数据 $y_2$	符号位 $sign$	绝对差值 $abs$	绝对差值的排名 $rank$
0	125	110	+1	15	7
1	115	122	-1	7	3
2	130	125	+1	5	1.5
3	140	120	+1	20	9
4	140	140	-	0	-
5	115	124	-1	9	4
6	140	123	+1	17	8
7	125	137	-1	12	6
8	140	135	+1	5	1.5
9	135	145	-1	10	5

步骤 1：首先对 $y_1$ 和 $y_2$ 两两成对配对形成 10 个数据对（即 $ID=0,...,9$），然后将这 10 个数据对两两求差，得到符号位 $sign$ 列。具体的做法是：当 $y_1$ 元素比 $y_2$ 对应元素大时，符号位为正，即 +1；当 $y_1$ 元素比 $y_2$ 对应元素小时，符号位为负，即 -1。例如，在 $ID=1$ 的数据对中，125 > 110，故其符号位为 +1.

步骤 2： 首先对 $y_1$ 和 $y_2$ 两两成对求差得到绝对值 $abs$ 列，然后根据 $abs$ 列排序得到 $rank$ 列。当某一对 $y_1$ 和 $y_2$ 的元素相等时，即 $abs=0$ 时，我们不计算其 $rank$ 值。例如，在 $ID=4$ 的数据对中，$y_1$ 和 $y_2$ 的值都是 140，因此这对数组没有排名值。

步骤 3： 有了这个 $sign$ 和 $rank$ 列的结果后，我们就可以来计算秩和了，其中大于 0 的秩和 |$W^{+}$| 和 对于小于 0 的秩和 |$W^{-}$|，以及最终的符号秩和 |$W$| 如下所示，

$|W^{+}|=|7+1.5+9+8+1.5|=27$

$|W^{-}|=|3+4+6+5|=18$

$|W|=||W^{+}|-|W^{-}||=9$

步骤 4：最后我们根据 |$W$| 来查表 ⁴，我们得到当 Wilcoxon 在 $\alpha =0.05$ $n=9$ 的时候的临界值是 5，而我们计算出来的 $|W|=9>5$，因此我们不能拒绝原假设。最终结论是：$y_1$ 和 $y_2$ 不存在统计意义上的显著性差异，它们可能来自于同一分布的总体。

编程实现： 在 python 中我们调用 scipy 包来里的 stats.wilcoxon() 函数来实现秩和检验，如下代码，

from scipy import stats
def wilcoxon_signed_rank_test(y1, y2):
	res = stats.wilcoxon(y1, y2)
	print(res)

得到的结果如下，其中 statistic = 18.0，表示 2 类符号秩和较小的一个（$|W^{+}|$ 和 $|W^{-}|$ 最小的是18）；pvalue=0.5936… 就是我们需要的 p-value 值。之所以出现 Warning 信息是因为我们的数据量太少，一般来讲大于 20 是比较合适做假设检验的。

> E:\Software\Anaconda2\lib\site-packages\scipy\stats\morestats.py:2397: UserWarning: 
>   Warning: sample size too small for normal approximation.
>   warnings.warn("Warning: sample size too small for normal approximation.")
> WilcoxonResult(statistic=18.0, pvalue=0.5936305914425295)

---

1. Wilcoxon, Frank. “Individual Comparisons by Ranking Methods.” Biometrics Bulletin 1.6(1945):80-83. link ↩︎

2. Wikipedia. Wilcoxon rank-sum test. link ↩︎

3. Wikipedia. Wilcoxon signed-rank test. link ↩︎

4. 百度百科. Wilcoxon 符号秩检验临界表. link ↩︎