Multiple comparisons problem

维基百科

多重比较谬误（Multiple Comparisons
Fallacy），是一种概率谬误，系指广泛比较二个不同群体的所有差异，从中找出具有差异的特征，然后宣称它就是造成二个群体不同的原因。

知乎

著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
作者：stevenliuyi
链接：https://www.zhihu.com/question/21232840/answer/17951143
假设有某甲在猜硬币玩，连猜五次后我们发现他次次都猜中。于是我们认为他在做假，因为如果他没做假的话，连续猜对五次的概率只有1/32=0.03125，小于我们预先定义的小概率（比如说0.05）。（如果知道什么是p值的话，这里我们定义的零假设H0为某甲没有做假，p=0.03125表示我们拒绝H0只有约3%的犯错几率。如果不知道什么是p值的话也没关系，在这里并不重要）上面这个判断没有问题，但如果涉及到多重比较（multiple comparison）的话就不一样了。前面的例子只用了一枚硬币，而这次我们改用100枚不同颜色的硬币（这就是所谓的多重比较），有红色硬币、黄色硬币、绿色硬币、粉色硬币、紫色硬币等等。实验中，我们让某甲每枚硬币各猜五次，然后我们发现，在猜其他颜色的硬币时某甲都有猜错，但在猜绿色硬币时他连猜五次都猜对了。那么，我们是不是能像前面一样，认为他虽然在猜其他硬币时没做假，但在猜绿色硬币时做假了呢？简单计算一下就可以发现，当我们用100枚硬币做实验时，出现一枚或以上硬币五次都猜对的概率为1-(1-1/32)^100 = 0.958。显然，这时我们就不能再说某甲在猜绿色硬币时做假了，即便单就那一枚绿色硬币来说，连续猜对五次的概率还是只有0.03125。避免此问题的方法包括控制 FWER（Familywise error rate）、FDR（False discovery rate）等。最简单的控制FWER的方法是Bonferroni校正，是指p值应该除以比较的次数，在上面的例子中为100。其他的方法这里我就不赘述了，有兴感的可以去参考相应的维基百科条目。

更详细见英文维基百科
https://en.wikipedia.org/wiki/Multiple_comparisons_problem#Methods