白话假设检验之--二狗神枪手

假设检验的原理：对于提出的假设，我们先找到一个小概率事件，如果在实验中小概率事件发生了，那就拒绝原假设。

举个例子：二狗号称自己是百步穿杨，弹无虚发的神枪手。为了检验是不是真的，我找了个苹果顶在脑袋上站在他前方10米的位置让他打苹果。如果他说的是真的，那我应该是很安全的，结果他一枪下去把我崩死了，那我们就判定他说的是假的嘛。

• 拒绝原假设不等于接受备择假设。

举个例子：二狗一枪打中了我头上的苹果，我们只能说现在没有证据反驳他是神枪手这个观点，但也不能说明他就是神枪手了。

置信区间：检验数据总会有一些离群点，但大部分数据还是会落在一个区间内。当数据有95%的概率落在这个区间内就是95%置信区间。

举个例子：神枪手也不可能真的百发百中，也可能因为风速啊，沙子眯眼啊，憋尿啊，吃坏肚子啊而失误，但失误是小概率事件。于是大家找来100个公认的神枪手，让他们在10米外打靶。发现100个人中98个人打在4环以内，正好是一个西瓜的大小，那我们就说神枪手的枪法98%置信区间是一个西瓜；95个人打在6环以内，正好是一个苹果的大小，那我们就说神枪手的枪法95%置信区间是一个苹果；90个人打在9环以内，正好是一个葡萄的大小，那我们就说神枪手的枪法90%置信区间是一个葡萄。

• 总结：置信区间的百分比越高，区间越大。

第一类错误：弃真错误，又称显著性水平，False Positive。

举个例子：二狗真的是个神枪手，但他测验的时候正好尿急，所以把我崩死了，我们判定他不是神枪手，这是弃真错误。如果二狗瞄准的时候我头上顶的是个西瓜，那我们根据神枪手的平均水平推断，犯第一类错误的概率是2%；如果我头上顶的是个苹果，犯第一类错误的概率是5%；如果我头上顶的是个葡萄，犯第一类错误的概率是10%

第二类错误：取伪错误，False Negative，1-第二类错误被称为检验的功效。

举个例子：二狗根本就是个大忽悠，昨天刚学会打枪今天就来崩我，但他运气特好，一下就打中了我头顶的苹果，于是我们就相信他是个神枪手了，这就是取伪错误。

• 样本量不变的情况下，减小第一类错误会增大第二类错误的概率，减小第二类错误会增大第一类错误的概率。

举个例子：我们不想把真的神枪手放走，所以把苹果换成西瓜，这样本来可能有5个神枪手失误，现在只有2个神枪手失误了，但这样一来，浑水摸鱼运气好的人打中西瓜的概率也变高了，所以第二类错误的概率增大。反之亦然。

• 如何同时减小第一类错误和第二类错误？-- 增大样本量

举个例子：让二狗打100次，这样无论是他失误还是他浑水摸鱼的可能性都变小了，大部分时候发挥都可以看成是正常水平。

p值：以假设作为基础，计算出的观察到的真实结果发生的概率。

举个例子：加入二狗真的是神枪手，那他打我头上的苹果，每枪打中的概率应该都是95%。结果他连打两个人，一枪没中，把俩人都崩死了。按理说这个概率应该是5%*5%=0.0025，即为我们所求的p值。

• 拒绝原假设：p值很小的时候，拒绝原假设。

举个例子：我们认为5%已经是几率很小的事了，结果现在发生了概率为0.0025的事情，那么真相只有一个，你在撒谎！！