多重检验的p值校正：FWER和FDR

先回忆一下假设检验的来两类错误(参考：深入理解假设检验的两类错误和功效)：

对于多重检验来说，假设做了m次test，V是假阳性的次数，S是真阳性的次数，R是V+S。 列表如下：

$H_0$	Do not reject $H_0$	Reject $H_0$	Total
TRUE	U	V	$m_0$
FALSE	T	S	$m-m_0$
Total	m-R	R	m

FWER: Family-wise error rate

$FWER=P(V>=1)$

由定义可知，FWER是$H_0$为真时，出现大于等于1次假阳性的概率。
$FWER=1-P(V==0)=1-(1-\alpha {)}^m$

举个例子：$\alpha =0.05$, m = 10次时，
$FWEC=1-(1-0.05{)}^{100}$ = 0.994;

即$\alpha =0.05$时100次多重检验，出现至少一次假阳性的概率为99.4%。而单次的概率是5%.

有两个主要方法控制FWER：

• Bonferroni correction： $\alpha \ast =\alpha /m$
• Sidak correction: $\alpha \ast =1-(1-\alpha {)}^{\frac{1}{m}}$

但是Bonferroni方法太保守，该方法会导致很高犯II类错误的概率，饱受批评。虽然Sidak方法求出的$\alpha$值大于等于Bonferronni的校正值，但是也是保守类型的校正。只适用于独立的检验。

FDR: False discovery rate

错误发现率:
$FDR=E(\frac{V}{R})\le FWER$

V是假阳性数（False Positive），R是拒绝$H_0$的次数。

当R=0时，此时V=0， 为了使式子有意义，定义V/R = 0。
如果所有的$H_0$都为真，那么$FDR=FWER$，
如果多重检验的$H_0$部分为真，那么$FDR\le FWER$.
FWER和FDR都是多重检验的错误度量，控制了FWER暗含控制了FDR。

通次采用 Benjamini-Hochberg procedure（BH）控制FDR。校正的p-value叫q-value。
给定的FDR值$\alpha$（比如：0.05)，把p-value从小到大排列，根据$\alpha$值校正p-value：
$q=p\ast m/j$, j 为排列序号。

校正p值之后，拒绝所有$q>\alpha$的检验，确保$FDR<=\alpha$。