第七章 假设检验

假设检验的目的是通过收集到的数据，来验证某个想要得到的结论。
假设检验的思想是：小概率反证法思想。
显著性检验是本章的主要内容。下面从实际例子来通俗的理解一下显著性检验。
显著性检验中有几个概念不太好理解。

嫌犯X是否有罪

　有这样一个事件：2016年5月5日下午3-4点之间张三家里的电视机被偷了。邻居王五看到嫌犯X，在2016年5月5日下午3点15从张三家里拿着一台电视机鬼鬼祟祟地走出来。警察到嫌犯X家里，发现了张三家的电视。
　依据上面的描述判断嫌犯X是否真的偷了张三家的电视。这就是：通过收集到的数据，来验证某个想要得到的结论。
　事件A：王五看到嫌犯X从张三家里拿着一台电视机(人证)。
　事件B：嫌犯X家里有张三家的电视(物证)。
　事件C：张三报警说家里丢了一台电视机。

1设立假设

　做原假设$H_0$：嫌犯X无罪。这是基于“疑罪从无”的原则出发的。先假设一个人没有罪，再用证据证明有罪，才可以确定有罪。这就是说为什么$H_0$假设是一个强假设，是被保护的假设。
　备择假设$H_1$:嫌犯X有罪。

真实情况	根据证据	证明
-	无罪	有罪
无罪	正确	犯第I类错误
有罪	犯第II类错误	正确

2判断依据

　真实情况只有嫌犯X知道，但是又没有依据可以判定X说的是否正确。所以只能做假设检验。　
　在X无罪的前提下，事件A和B同时发生的概率：$P\{(A \cap B)|X无罪\} \le \alpha=0.00001$ ，就证明嫌犯X有罪。证据是已经存在的事实。一个概率万分之一的事情是一个小概率事件。在一次试验中小概率事件发生的可能性几乎不存在，可以推测一定是前提错了。也就是说$H_0$:嫌犯X无罪 是错误的。证明$H_1$:嫌犯X有罪 成立。
　那么这个结果要求在多大概率上保证了嫌犯X有罪呢？是在(1-$\alpha$)概率上保证了嫌犯X有罪。
　大家可以看到，这里只考虑了可以证明嫌犯X有罪的证据，并没有考虑嫌犯X无罪的证据。因为前提就是嫌犯X无罪。

3根据资料，计算概率

　如果X无罪，也就是说如果X没有偷东西，并且张三报警自己丢了电视机，那X从张三家里拿电视机这件事情发生的概率应该为0。这是依据常识（社会规范）来的。$P(A|嫌犯X无罪)=0$
　如果X没有偷东西，那张三家的电视在他家里这件事情(事件B)的概率大于0，暂时随意给定一个值例如0.5，可能是真正的小偷为了栽赃陷害X放在他家里。$P(B|嫌犯X无罪)=0.5$
　$P\{(A \cap B)|X无罪\} =0$
　

4根据样本得出结论

　$P\{(A \cap B)|X无罪\} =0 \le \alpha$成立。推出$H_0$不成立，$H_1$成立。嫌犯X有罪。在这个例子中以(1-0)的概率保证了这个结论是正确的。
　

假设检验的步骤

　下面用数理统计的语言描述一下假设检验。

1 建立两个完全对立的假设

　原假设$H_0$，备择假设$H_1$

选择原假设的一些原则

　1 错误拒绝假设A的后果更严重，则选择做原假设。
　假设Ａ：新药有某种毒副作用。
　假设Ｂ：新药没有毒副作用。
　如果把“有毒副作用”错认为“无毒副作用”后果更严重。如果把“没有毒副作用”错认为“有毒副作用”后果较轻。则选择Ａ做原假设。
　这里有一个原则是“疑罪从无”。如果认为有罪则一定要有证据证明有罪，否则就是无罪。如果法官判犯人无罪，只能说明没有证据证明这个人有罪。所以一定要用证据来证明后果比较严重的结论。原假设，就是用证据来证明的那个结论。
　2 原假设一般为维持现状的假设。
　例如：原假设：药物没有减肥效果。
　3 原假设取简单假设。
　原假设选择只有一种情况的假设。
　$H_0$是一个被保护的假设，一定要慎重选择。
　

参数假设的形式

1. 左边检验 $H_0:\theta=\theta_0$，$H_1:\theta<\theta_0$
   左边检验的第二种形式是$H_0:\theta \ge \theta_0$，$H_1:\theta<\theta_0$
2. 右边检验 $H_0:\theta=\theta_0$，$H_1:\theta>\theta_0$
   右边检验的第二种形式是$H_0:\theta \le \theta_0$，$H_1:\theta>\theta_0$
3. 双边检验 $H_0:\theta=\theta_0$，$H_1:\theta \ne \theta_0$

检验假设的方法

　1 临界值法
　2 $P$值法
　

2 给出检验统计量，确定拒绝域的形式

　检验统计量：如果统计量$T=T(X_1,X_2,...X_n)$的取值大小和原假设$H_0$是否成立有密切联系，则被称为检验统计量。
　拒绝域：对应于拒绝原假设$H_0$时，样本值的范围称为拒绝域。拒绝域是参考$H_1$得到的。
　两类错误：如果原假设为真，根据样本拒绝了原假设，这时候的错误称为第I类错误–弃真。如果原假设为假，根据样本接受了原假设，这时候的错误称为第II类错误–取伪。
　$\alpha=P\{第I类错误\}=P\{拒绝H_0|H_0是真实的\}$
　$\beta=P\{第II类错误\}=P\{接受H_0|H_0是错误的\}$
　例如：$H_0:\mu=0$，$H_1:\mu>0$，注意到$\overline X是\mu$的无偏估计$\overline X$取值的大小反映了$\mu$的取值情况。当原假设成立的时候，$\overline X$的取值应该比较小。所以
　当$\overline X \ge C$的时候，拒绝原假设$H_0$；
　当$\overline X < C$的时候，接受原假设$H_0$。
　
　图中蓝色曲线表示$H_0$为真，$\overline X \ge C$拒绝原假设，也就是犯了第I类错误。
　图中红色的线表示$H_0$为假，$\overline X < C$接受了原假设，也就是犯了第II类错误。
　在样本量n一定的情况下，这两类错误的概率是互相制约的。Neyman-Pearson原则要求首先控制第I类错误的概率不能超过某个常数$\alpha \in (0,1)$，再寻找检验，使得第II类错误的概率尽可能得小。$\alpha$称为显著性水平。$\alpha$的取值多为:0.001,0.005,0.1。
　只对第I类错误的概率加以控制，而不考虑第II类错误的概率的检验，称为显著性检验。
　

3 根据显著性水平和统计量的分布确定临界值

临界值法

P值法

　无论哪种形式都要求知道统计量的分布。

4 根据样本得出结论

临界值法

$P$值法

　结合第三步算出来的数值，与拒绝域想比较看是否成立。

例子

　题目：某种减肥药广告宣称, 连续使用该种减肥药一个星期便可达到减肥的效果。为了测定其广告是否有效做了测试。记录服用减肥药前后的体重。测得服药前体重-服药后体重差值：1.5,0.6,-0.3,1.1,-0.8,0,2.2,-1.0,1.4。假定总体$\sigma^2=0.36$。取显著水平$\alpha=0.05$。

假设

　原假设$H_0$:该减肥药无效，$\mu=0$；(减肥药如果没有效果，平均每个人的体重变化应该是0)
　备择假设$H_1$:该减肥药有效，$\mu>0$

提出检验统计量和拒绝域的形式

　需要判断的是总体均值$\mu$，根据第六章参数估计得知样本均值$\overline X$是$\mu$的无偏估计。所以选择$\overline X$作为检验统计量。
　在第五章抽样分布中知道单个正态总体的抽样分布$\overline X$~N($\mu,\sigma^2/n$)或者$\dfrac{\overline X-\mu}{\sigma/\sqrt (n)}$~N(0,1)。
　$H_0中\mu=0$，所以$\overline X$也要尽可能等于0。可以设定一个值C，当$\overline X <C$的时候，接受原假设。当$\overline X \ge C$，时拒绝原假设。根据$H_1$得到拒绝域:W={$(X_1,X_2,...X_n):\overline X > C$}

确定临界值

　当$H_0:\mu=0$成立的时候，$\dfrac{\overline X}{\sigma/\sqrt (n)}$~N(0,1)，也就是说$\dfrac{\overline X}{0.6/3}$~N(0,1)

临界值法

　$P\{X>C|\mu=0\}=P\{\dfrac{\overline X}{0.6/3}>\dfrac{C}{0.6/3}\}=1-\Phi (\dfrac{C}{0.6/3}) \le \alpha=0.05$
　$\Phi (\dfrac{C}{0.6/3}) \ge 1-0.05=0.95$
　查表知道$\Phi(1.645)=0.95$，得到$\dfrac{C}{0.6/3}\ge 1.645$，得到$C \ge 0.329$。要使得第II类错误尽可能小，所以$C=0.329$。
　根据样本值计算$\overline x=0.522$

P值法

　根据样本值计算$\overline x=0.522$
　计算一下在$H_0$条件下，目前的样本发生的概率：$P\{\overline X > \overline x|\mu=0\}＝P\{\dfrac{\overline X}{0.6/3}>\dfrac{0.522}{0.6/3}\}=1-\Phi(2.61)=1-0.9955=0.0045$ (这里如果忘记了参考第二章随机变量中，普通正态分布与标注正态分布的换算)

4 根据样本得出结论

临界值法

　临界值C=0.329，$\overline x=0.522$，$\overline x>C$符合拒绝域W={$(X_1,X_2,...X_n):\overline X > C$}。所以拒绝$H_0$，接受$H_1$。

P值法

　$P\{\overline X > \overline x|\mu=0\}=0.0045 < \alpha=0.05$，所以拒绝$H_0$，接受$H_1$。在这个例子中，可以保证 0.9955的概率，接受$H_1$是一件正确的事情。

心得

　我认为P值法是比较好理解的。我只要计算一下在$H_0$条件下，已经发生的事情（样本）落在拒绝域的概率P。P比显著性水平要小的时候，结合小概率事件不会在一次试验中发生，就可以拒绝$H_0$，接受$H_1$。否则就接受$H_0$。
　临界值法是根据要求的显著性水平，算出统计量的一个临界值。
　记住拒绝域是由$H_1$决定的。