假设检验,就是做了一个假设 H,然后通过实验得到相关的统计数据判断 H 是否(大概率)成立,或者有多大把握认为 H 成立。这个 H 一般是一个与分布、统计量相关的的命题,如 H : P { 硬 币 朝 上 } < 0.2 H: P\{硬币朝上\} < 0.2 H:P{硬币朝上}<0.2。
Intuition
直觉上,假定 H 正确,会使某个事件 A 变成小概率事件,即 P ( A ∣ H ) P(A|H) P(A∣H) 很小,那么在 H 的条件下,A 几乎不可能发生,如 H : P { 硬 币 朝 上 } < 0.2 H: P\{硬币朝上\} < 0.2 H:P{硬币朝上}<0.2, A : 连抛100次,80次朝上 A:\text{连抛100次,80次朝上} A:连抛100次,80次朝上。但若果在检验实验中 A 居然发生了,那 H 大概率是错的,于是拒绝 H。
Example
要检验此女士是否真能分辨「茶+奶」和「奶+茶」,可以进行伯努利实验:n 杯奶茶混合液给她逐杯试,如果她能至少分对 k 次,那就认为她真的能分辨。
为此可以作出假设
H
0
:
她
其
实
不
能
分
辨
,
只
是
瞎
猜
H_0:她其实不能分辨,只是瞎猜
H0:她其实不能分辨,只是瞎猜。将
H
0
H_0
H0 的对立假设记为
H
1
H_1
H1。
选择这样假设是因为,这等价于对她的判断的分布作出假设:如果是瞎猜,那么她猜「茶+奶」和「奶+茶」的概率都应该是 0.5,对于每一杯她猜对的概率亦是 0.5,于是对于她猜对的总杯数 X,可以写出分布
X
∼
B
(
n
,
0.5
)
X\sim B(n,0.5)
X∼B(n,0.5)。
可以算出,要猜对多个的概率是很小的。即要观察的事件是
A
:
分
对
至
少
k
杯
A:分对至少k杯
A:分对至少k杯,当 k 比较大时,
P
(
A
∣
H
0
)
P(A|H_0)
P(A∣H0) 很小,
A
∣
H
0
A|H_0
A∣H0 几乎不可能发生。
接下来就是进行实验,如果 A 发生了,就拒绝
H
0
H_0
H0、接受
H
1
H_1
H1,否则相反。
α \alpha α, P-value
这样检验有主观的成分:k 取多大,才能相信她大概率是真的能分辨(才能在 A 发生时拒绝
H
0
H_0
H0)?这可以换一种说法:
P
(
A
∣
H
0
)
P(A|H_0)
P(A∣H0) 要多小(在
H
0
H_0
H0 条件下 A 要多难发生),才能在 A 真的发生时有足够的信心相信
H
0
H_0
H0 是错的?
此例中 P-value 就是
P
(
A
∣
H
0
)
P(A|H_0)
P(A∣H0)(P-value 应该是 A 和比 A 更难发生的事件概率和)。指定 k 的大小,等价于指定一个概率阈值
α
\alpha
α,只有当
P-value
=
P
(
A
∣
H
0
)
≤
α
\text{P-value}=P(A|H_0)\leq\alpha
P-value=P(A∣H0)≤α 时,才认为:
A
发
生
⇔
H
0
明
显
/
大
概
率
是
错
的
A 发生\Leftrightarrow H_0明显/大概率是错的
A发生⇔H0明显/大概率是错的,于是在 A 发生时拒绝
H
0
H_0
H0。
所有使得拒绝
H
0
H_0
H0 的 P-value 的集合叫拒绝域,此例中就是
[
0
,
α
]
[0,\alpha]
[0,α],即当实验测得 P-value 落在拒绝域时,就拒绝
H
0
H_0
H0。
α
\alpha
α 常取 0.05、0.01 等小值。
Error: Type I, Type II
上帝知道 H 0 H_0 H0 实际上是真的还是假的,但人不知道,所以依据实验结果,决定要拒绝或接受 H 0 H_0 H0 时,此时做出的决策(拒绝/接受)可能是错的,错误分两类:
- 第 I 类,弃真错误,即 H 0 H_0 H0 其实是真的(上帝视觉),但被拒绝了;
- 第 II 类,取伪错误,即 H 0 H_0 H0 其实是错的,但被接受了。
犯第 I 类错误的概率,就是 A 发生时拒绝 H 0 H_0 H0 的概率,即 α \alpha α,又叫显著性水平, 1 − α 1-\alpha 1−α 称为置信度。