如何通俗地理解Family-wise error rate(FWER)和False discovery rate(FDR)

Family-wise error rate(FWER)，暂时还不了解比较通俗易懂的翻译。False discovery rate(FDR)，一般翻译为错误发现率。在研究使用假设检验解决机器学习中的分类问题时，我遇到了多重假设检验问题。FWER和FDR正是解决这一问题的两种方法。经过老师和师兄师姐的指导，我能够将FDR应用于自己的问题当中，并且实验结果也有所改善。但是，应用之后，我仍然存在一些困惑，比如FWER和FDR到底是什么，FWER和FDR怎么计算，为什么FWER和FDR能够降低错误率以及如何通俗地理解二者。

为了搞清楚上述问题，我仔细研究了维基百科和网络上的一些资料，认为通俗地理解FWER和FDR不是一件容易的事。研究者首先需要有一定的统计学假设检验的基础，而且还能够将FWER和FDR应用于实际的问题。所以，我会从假设检验谈起，然后结合自己的问题进行探讨。

假设检验

假设检验是用于检验统计假设的一种方法。它的基本思想是小概率思想，小概率思想是指小概率事件在一次试验中基本上不会发生。

假设检验的基本方法是提出一个空假设（null hypothesis），也叫做原假设，记作$H_0$；然后得出感兴趣的备择假设（alternative hypothesis），记作$H_1$或$H_A$。空假设和备择假设的指导原则是空假设是不感兴趣对研究不重要的结论，而备择假设是我们感兴趣想要证明的结论。举个例子，给定人的一些身体指标数据，判断其是否存在某种疾病（比如肺炎）。

$H_0$：某人没病（我们不感兴趣）；$H_1$：某人有病（我们感兴趣）。将这些身体指标数据和已确定的或健康或有病的一些人的身体数据等样本信息比较，计算$p$值，一般指定显著性水平$\alpha =0.05$，如果$p$值小于0.05，表示这是一个小概率事件。根据小概率思想，我们与其相信这个小概率事件的发生，不如认为更为合理的选择是拒绝原假设，认为该人有病；否则无法拒绝原假设，即接受原假设，表示没有足够的证据认为该人有病。

注：
1.统计显著性：空假设为真的情况下拒绝零假设所要承担的风险水平，又叫概率水平。
2.$p$值：假定空假设为真的情况下，得到相同样本结果或更极端结果的概率，是一个用来衡量统计显著性的重要指标。
3.显著性水平$\alpha$：空假设为真时，错误地拒绝空假设的概率。另外，也可以把这种概率理解成在假设检验中决策所面临的风险。
4.比起计算$p$值，也可以计算统计量，根据显著性水平判断统计量是否落入拒绝域，进而决定是否拒绝原假设。统计量没有$p$值直观，所以采用$p$值进行表述。

使用假设检验解决分类问题

沿用上一个例子，我们发现假设检验可以很自然地对应机器学习中的二分类问题：空假设为真对应着没病，空假设为假（备择假设为真）对应着有病。

一次假设检验只能检验一个人，如果得到的$p$值小于显著性水平$\alpha$就拒绝空假设，相当于把该人分为有病一类，而且可以称该次检验是显著的（significant）。如果得到的$p$值大于显著性水平$\alpha$就不能拒绝空假设，相当于把该人分为没病一类。类似地，可以称该次检验是不显著的（non-significant）。一般把备择假设中的类别称为正类或阳性（positive），另一个类别称为反类或阴性（negative）。

事实上，一个人可能没病（空假设为真）也可能有病（空假设为假，备择假设为真），一次检验可能被拒绝（显著）也可能不能被拒绝（不显著）。所以，一次检验有四种可能的结果，用下面的表格表示：

	$H_0$ is true	$H_0$ is false ($H_1$ is true)
Reject $H_0$(Test is declared significant)	Type I error (FP) (probability=$\alpha$)	Correct inference (TP) (probability=1-$\beta$)
Fail to reject $H_0$(Test is declared non-significant)	Correct inference (TN) (probability=1-$\alpha$)	Type II error (FN) (probability=$\beta$)

• Type I error，I类错误，也叫做$\alpha$错误
• Type II error，II类错误，也叫做$\beta$错误
• FP: false positive，假正例，I类错误
• FN: false negative，假反例，II类错误
• TP: true positive，真正例
• TN: true negative，真反例

I类错误是指空假设为真却被我们拒绝的情况，犯这种错误的概率用$\alpha$表示，所以也称为$\alpha$错误或弃真错误；II类错误是指空假设为假但我们没有拒绝的情况，犯这种错误的概率用$\beta$表示，所以也称为$\beta$错误或取伪错误。所以，空假设为真并且我们没有拒绝的概率用$1-\alpha$表示，空假设为假并被我们拒绝的概率用$1-\beta$表示。

自然，人们希望犯这两类错误的概率越小越好。但对于一定的样本量n，不能同时做到犯这两类错误的概率都很小。如果减小$\alpha$错误，就会增大犯$\beta$错误的机会；若减小$\beta$错误，就会增大犯$\alpha$错误的机会。当然，使$\alpha$和$\beta$同时减小的办法也有，那就是增大样本量。但样本量不可能没有限制，否则就会使抽样调查失去意义。因此，在假设检验中就有一个对两类错误进行控制的问题。
一般来说，哪一类错误所带来的后果严重，危害越大，在假设检验中就应当把哪一类错误作为首要的控制目标。但在假设检验中，大家都在执行这样一个原则，那就是首先控制 α \a