统计学中第一类错误和第二类错误的区别

转载自我的知乎：
https://www.zhihu.com/question/20993864/answer/3608851818

在这里，我用一系列故事给大家阐述“第一类错误”
第一类错误和第二类错误来自于“数据本身的问题。”
这种现象，笔者个人称之为“数据的致幻作用。”

这就让我想起了一个非常有趣儿的故事。倘若数据是人类的。但是人类驯化小麦的历史也是一部挣扎的历史。为什么这么说？因为小麦这种植物在古代，会寄生一种真菌。这种真菌会产生一种可能会致命的致幻作用。这就是来自于小麦的“幻觉。”

添加图片注释，不超过 140 字（可选）
数据也是一样。数据一旦被统计，就会失真，这就是所谓的“来自于数据的幻觉。”

举个例子。历史上Reader’s digest曾经是美国非常著名的杂志。但是Reader’s digest在一次预测美国总统大选的时候以极大地比例预测失败。为什么？这是因为Reader’s digest在当时统计结果是用电话进行统计的。能装的起电话的家庭在当时的美国都是富人。富人这个群体会投什么样的人的票，其实结果是高度overlap的。

所以有人说统计抽样调查很简单。但是其实统计抽样调查并不简单。它涉及到社会学，经济学，心理学等各个方面。

我们说回到“第一类错误”和“第二类错误”这个地方。这个问题其实用一张表，和一个故事就可以概括。我们假设有这么个场景。A指控B偷吃了一碗粉。

添加图片注释，不超过 140 字（可选）
那么所有的事情，所有的情况分下来，就会有四个情况（仔细想想为什么。以及为什么，这四个概率加起来的和不是1。这一点很重要。）：
A被指控吃了粉，他确实吃了粉
A被指控吃了粉，可是他没有吃粉
A没有被指控
A没有被指控吃粉，他确实没有吃粉
在这里，我们需要先了解一个概念，那便是零假设和备择假设。
什么是零假设，什么是备择假设（引用自）？
零假设（Null Hypothesis）和备择假设（Alternative Hypothesis）是统计学中用于假设检验的两个重要概念。
零假设（Null Hypothesis，记作 H0）：
零假设是一种初始假设，通常表示“没有差异”或“没有效果”。它是我们在进行统计检验时希望通过数据来检验的默认立场。零假设的目的是假定没有什么特别发生，任何观察到的差异都是由于随机误差或样本波动。
例如，如果我们想知道一种新药是否有效，零假设通常会是“新药对疾病没有效果”。
备择假设（Alternative Hypothesis，记作 H1​）：
备择假设与零假设相对立，它表示“有差异”或“有效果”。备择假设代表了研究者的实际研究目标，或希望证明的结论。
例如，在药物实验中，备择假设可能会是“新药对疾病有显著的治疗效果”。
在假设检验中，我们通过数据分析来决定是否拒绝零假设。如果数据提供的证据足够强，我们就会拒绝零假设，支持备择假设；如果证据不够强，我们则无法拒绝零假设。

实际上对这两种假设的分析我们都是从“概率”的角度去看的。这就是假设检验里面著名的5%和1%的“显著性差异”的来源。

具体是怎么解释的呢？这个地方就有一个著名的“女士品茶”的故事。请注意英国人喝茶的方法和中国人不太一样里面要加奶和糖的。而且最古老的时候，茶是用杯子倒在碟子里面喝的。烧砖哥有一套17世纪的巴伐利亚茶具。有机会的话，可以来悉尼找烧砖哥喝茶。当然，那个只用来喝中国人喝茶的办法。在这一点上我是非常坚持中国传统的。

统计学家费希尔的一个女同事，也是藻类学家的缪丽·布里斯托尔，她声称可以判断在奶茶中是先加入茶还是先加入牛奶。费希尔提议给她八杯奶茶。缪丽已知其中四杯先加茶，四杯先加牛奶，但随机排列，而她要说出这八杯奶茶中，哪些先加牛奶，哪些先加茶，检验统计量是确认正确的次数。零假设是她无法判断奶茶中的茶先加入还是牛奶先加入，备择假设为她有此能力。
若单纯以概率考虑（即缪丽没有判断的能力）下，八杯都正确的概率为1/70（因为8选4的组合数是70），约1.43%，因此“拒绝域”为八杯的结果都正确。而测试结果为缪丽八杯的结果都正确，在统计上是相当显著的的结果。也就是说，几乎可以排除她只是恰好猜对结果的可能。

也就是说如果完全靠盲猜，这个女士全部猜对的概率只有1.43%。如果我们取显著度为5%，那毫无疑问这个女士是真的有这个本事。但是如果采用更严格的假设，也就是显著度只有1%的时候，哪怕这个女士猜中了所有八杯茶的顺序，我们也不能说这个女士有辨别先加奶还是先加茶的本事。