目录
- 假设检验(Hypothesis Testing)
- 什么是假设检验
- 假设检验的基本思想
- 假设检验的六步骤
- 几种常见假设检验
假设检验(Hypothesis Testing)
前沿:他人的言论未必句句真实,问题是如何判断他人的言论何时是真,何时是假?假设检验为你提供了一种方法——利用样本检验各种统计断言是否可能属实。通过假设检验可以权衡证据,检验极限结果——是否是巧合还是存在其他内在的根据?
什么是假设检验
假设检验是用来判断样本与样本,样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。其基本原理是先对总体的特征作出某种假设,然后通过抽样研究的统计推理,对此假设应该被拒绝还是接受作出推断。
举个小栗子:某一款感冒药宣称两天内对感冒的治愈率达到80%,有医生不信,就做了一组实验,抽取了10名患者,在服用治癌药后两天发现,只有6人治愈,他又做了一组实验,抽取了10名患者,两天后竟然发现10人全部治愈,这就让她很困惑。*
**原因是:**生物现象的个体差异是客观存在,以致抽样误差不可避免,所以我们不能仅凭个别样本的值来下结论。当遇到两个或几个样本均数(或率)、样本均数(率)与已知总体均数(率)有大有小时,应当考虑到造成这种差别的原因有两种可能:
- 这两个或几个样本均数(或率)来自同一总体,其差别仅仅由于抽样误差即偶然性所造成;
- 这两个或几个样本均数(或率)来自不同的总体,即其差别不仅由抽样误差造成,而主要是由实验因素不同所引起的。假设检验的目的就在于排除抽样误差的影响,区分差别在统计上是否成立,并了解事件发生的概率。二是这两个或几个样本均数(或率)来自不同的总体,即其差别不仅由抽样误差造成,而主要是由实验因素不同所引起的。假设检验的目的就在于排除抽样误差的影响,区分差别在统计上是否成立,并了解事件发生的概率。
假设检验的基本思想
- 小概率原理:如果对总体的某种假设是真实的,那么不利于或不能支持这一假设的事件A(小概率事件)在一次试验中几乎不可能发生的;要是在一次试验中A竟然发生了,就有理由怀疑该假设的真实性,拒绝这一假设。
- 反证法:
H
0
H_{0}
H0—原假设,
H
1
H_{1}
H1—备择假设,双尾检验:
H
0
:
H_{0}:
H0:
μ
=
μ
0
\mu =\mu _{0}
μ=μ0,
H
1
:
H_{1}:
H1:
μ
≠
μ
0
\mu \neq \mu _{0}
μ̸=μ0。单尾检验:
H
0
:
H_{0}:
H0:
μ
⩾
μ
0
\mu \geqslant\mu _{0}
μ⩾μ0,
H
1
:
H_{1}:
H1:
μ
<
μ
0
\mu <\mu _{0}
μ<μ0,或
H 0 : H_{0}: H0: μ ⩽ μ 0 \mu \leqslant \mu _{0} μ⩽μ0, H 1 : H_{1}: H1: μ > μ 0 \mu >\mu _{0} μ>μ0。假设检验就是根据样本观察结果对原假设进行 H 0 H_{0} H0检验,接受 H 0 H_{0} H0,就否定 H 1 H_{1} H1;拒绝 H 0 H_{0} H0,就接受 H 1 H_{1} H1。
假设检验的基本思路:通过“小概率事件在少量的实验中是几乎不可能出现的”,来证明原假设是错误的,从而反证出备择假设是成立的。比如,有人自称射箭百发百中,要验证这个人的百发百中,难度极大,需要大量的实验,但如果证明他不是百发百中,就简单多了,只要有一次特别糟糕的成绩,就能推断出他不是百发百中了。
在一般的假设检验中,原假设,也叫零假设,一般用
H
0
H_{0}
H0来表示,一般是一个正命题,你要做的是找到反例去推翻它。而假设的反面,备择假设用
H
1
H_{1}
H1来表示。如果拒绝了原假设,则备择假设就是成立的。
比如,根据一个人的往日的射箭表现,可以确定成绩的均值
μ
\mu
μ和方差
σ
\sigma
σ,并且可以画出成绩的正态分布,
那么,这个有样本计算出来的
μ
\mu
μ,有代表性吗?**利用假设检验,我们把原假设
H
0
H_{0}
H0设为:假设这个人的射箭成绩均值为
μ
\mu
μ;备择假设
H
1
H_{1}
H1设定为:他的成绩均值不为
μ
\mu
μ;**下面就要找到一个反例去推翻
H
0
H_{0}
H0,于是我让这个人再射一次,如果射出的箭落在这个位置,如下:
或
从图上可以看到,上面两个位置偏离
μ
\mu
μ非常远,在
μ
±
2.58
σ
\mu \pm 2.58\sigma
μ±2.58σ以外,根据正态分布的经验法则,这次成绩落在99%以外,也就是这个成绩出现的可能性为1%,那就是一个小概率事件。也就是说,这个人只射了一次,还出现了1%的可能性出现的情况,于是我们就拒绝他的成绩均值为
μ
\mu
μ的原假设
H
0
H_{0}
H0,而接受他的成绩不为
μ
\mu
μ的备择假设。
假设检验的六步骤
基本过程如下:
- 确定要进行检验的假设
- 选择检验统计量
- ”确定用于做决策的拒绝域
- 求出检验统计量的P值
- 查看样本结果是否位于拒绝域内
- 做出决策
我们来看看实际操作,一般假设检验采用“置信区间”或者“检验统计量”去检验。
- 采用“置信区间”,我们可以把小概率定为1%,2%,5%,10%,相应也就越来越容易拒绝原假设了。
如果小概率为1%,那么落在红色的区域内拒绝,拒绝的难度比较大
如果小概率为5%,红色的区域变大了,落在红色区域的可能性也变大了,更容易拒绝原假设了。
这个人为设定的“小概率”,我们就叫做“显著性水平”,红色区域叫做“拒绝域”。拒绝域没有覆盖的区域,叫做“置信区间”,如果拒绝域概率为2%,则置信区间的概率为98%。可以简单理解为98%的情况下,我们相信原假设成立,而一旦出现2%的小概率事件,我们认为原假设不成立。 - 采用“检验统计量”
检验的统计量的公式: 检 验 统 计 量 = 点 估 计 量 − 假 设 值 点 估 计 量 的 抽 样 标 准 差 检验统计量=\frac{点估计量-假设值}{点估计量的抽样标准差} 检验统计量=点估计量的抽样标准差点估计量−假设值“点估计量”就是这个人再次射出的箭,“假设值”就是样本的均值 μ \mu μ,目前我们不能确定由样本算出的均值就是 μ \mu μ,所以它就是一个“假设值”(就是原假设 H 0 H_{0} H0的假设值)。“点估计量的抽样标准差”就是从样本计算的标准差 σ \sigma σ。公式变形:点估计量= μ \mu μ+ 检 验 统 计 量 × σ 检验统计量\times \sigma 检验统计量×σ,这和 μ + 1.96 σ \mu +1.96\sigma μ+1.96σ有点相似。其实,检验统计量就是一个倍数,这个倍数乘以 σ \sigma σ再加上均值 μ \mu μ就是此次的成绩。而采用“检验统计量”来判断这一次的成绩是否是小概率事件,实际上是拿这个“检验统计量”与1.96,2.58进行比较。
如果“检验统计量”大于1.96,那此次的成绩就落在如下图的红色区域,
如果“检验统计量”大于2.58,那此次的成绩就落在下图的更小的红色的区域。
几种常见假设检验
- 双边检测: H 0 : H_{0}: H0: μ = μ 0 \mu =\mu _{0} μ=μ0, H 1 : H_{1}: H1: μ ≠ μ 0 \mu \neq \mu _{0} μ̸=μ0
- 右侧单边检验: H 0 : H_{0}: H0: μ ⩽ μ 0 \mu \leqslant \mu _{0} μ⩽μ0, H 1 : H_{1}: H1: μ > μ 0 \mu >\mu _{0} μ>μ0
- 左侧单边检验: H 0 : H_{0}: H0: μ ⩾ μ 0 \mu \geqslant\mu _{0} μ⩾μ0, H 1 : H_{1}: H1: μ < μ 0 \mu <\mu _{0} μ<μ0