第五章 参数假设检验(1)
1.假设检验
假设检验问题指通过从总体中抽取一定容量的样本,利用样本来检验总体分布是否具有某种特征。可分为参数型假设检验与非参数型假设检验两种类型,分别适用于总体分布的形式已知和未知的情况。
假设:对于一般的问题,总可以提出一种假设,它是人们认为的关于参数的信息,如正态分布中
μ
≤
μ
0
\mu\le\mu_0
μ≤μ0就是一种假设,原假设(也叫零假设)
H
0
H_0
H0的对立面是备择假设
H
1
H_1
H1。参数检验的问题可以形象地写成
H
0
:
θ
∈
Θ
0
⟷
H
1
:
θ
∈
Θ
1
H_0:\theta\in \Theta_0\longleftrightarrow H_1:\theta\in \Theta_1
H0:θ∈Θ0⟷H1:θ∈Θ1
这里
H
0
H_0
H0是假设检验的对象,
H
0
H_0
H0和
H
1
H_1
H1的位置不可调换,它们的地位也不同。一般将等号放在
H
0
H_0
H0中。
假设又可以分为简单假设和复合假设,其中简单假设是指,如果 Θ 0 \Theta_0 Θ0中只包含 Θ \Theta Θ中的一个点,则称 H 0 H_0 H0为简单假设。如 H 0 : a = a 0 H_0:a=a_0 H0:a=a0就是一个简单假设。
要对假设进行检验,可以先求待估参数的一个估计量,如果估计量算出的值与我们的假设情况相差不大,则倾向于接受假设;如果算出的值与我们的假设情况相差很大,则倾向于拒绝假设。
拒绝域 D D D指的是,如果样本 X ∈ D \boldsymbol X\in D X∈D则拒绝 H 0 H_0 H0。一旦规划出了拒绝域,就可以把样本空间 X \mathscr X X分成两部分,一部分位于拒绝域,另一部分则称为落入接受域。拒绝域 D D D的制定由具体情况决定。
为了便于数学上的处理,又引入检验函数
φ
(
x
)
\varphi(\boldsymbol x)
φ(x)的概念,它与检验是一一对应的,如果
φ
(
x
)
=
1
\varphi(\boldsymbol x)=1
φ(x)=1则说明
X
\boldsymbol X
X的观测值
x
\boldsymbol x
x落入拒绝域内,需要拒绝原假设
H
0
H_0
H0,即
φ
(
x
)
=
{
1
,
x
∈
D
;
0
,
x
∉
D
.
\varphi(\boldsymbol x)=\left\{ \begin{array}{l} 1,&\boldsymbol x\in D;\\ 0,&\boldsymbol x\notin D. \end{array} \right.
φ(x)={1,0,x∈D;x∈/D.
对于只取
0
,
1
0,1
0,1两个值的检验函数,称为非随机化检验,一般我们提到的检验数都是非随机化检验。
如果对于某些样本有
0
<
φ
(
x
)
<
1
0<\varphi(\boldsymbol x)<1
0<φ(x)<1,则称
φ
(
x
)
\varphi(\boldsymbol x)
φ(x)为随机化检验。随机化检验的检验函数可能是
φ
(
x
)
=
{
0
,
T
(
x
)
>
c
,
r
,
T
(
x
)
=
c
,
1
,
T
(
x
)
<
c
.
\varphi(\boldsymbol x)=\left\{ \begin{array}{l} 0, &T(\boldsymbol x)>c,\\ r, &T(\boldsymbol x)=c,\\ 1, &T(\boldsymbol x)<c. \end{array} \right.
φ(x)=⎩⎨⎧0,r,1,T(x)>c,T(x)=c,T(x)<c.
如果此时出现了
T
(
x
)
=
c
T(\boldsymbol x)=c
T(x)=c的情况,可以作一次成功概率为
r
r
r的实验,根据实验结果来决定是否接受检验。
求解假设检验问题的步骤,是提出假设( H 0 H_0 H0和 H 1 H_1 H1)、导出否定域 D D D确定检验统计、求出检验统计量的临界值、得出结论。
2.两类错误
在假设检验问题中,可能会遇到如下两类错误:
- 第一类错误:假设 H 0 H_0 H0本来是对的,但样本却落入拒绝域 D D D使得我们认为假设 H 0 H_0 H0是错的从而拒绝了 H 0 H_0 H0。这类错误称为去真错误。
- 第二类错误:假设 H 0 H_0 H0本来是错的,但样本却落入接受域 D ˉ \bar D Dˉ使我们认为假设 H 0 H_0 H0是对的从而接受了 H 0 H_0 H0。这类错误称为取伪错误。
在每一个具体的场合,两类错误只会犯一个,并且确定检验方式(拒绝域)后犯两类错误的概率也就确定了。希望犯错误的概率尽可能小,但是一般来说,在样本大小 n n n固定的概率下,两类错误的犯错概率是负相关的。
功效函数:设
φ
(
x
)
\varphi(\boldsymbol x)
φ(x)是
H
0
:
θ
∈
Θ
0
⟷
H
1
:
θ
∈
Θ
1
H_0:\theta\in\Theta_0\longleftrightarrow H_1:\theta\in\Theta_1
H0:θ∈Θ0⟷H1:θ∈Θ1的检验函数,则称
β
φ
(
θ
)
=
P
θ
{
用检验
φ
否定了
H
0
}
=
E
θ
[
φ
(
X
)
]
,
θ
∈
Θ
\beta_\varphi(\theta)=\mathbf P_\theta\{\text{用检验$\varphi$否定了$H_0$}\}=E_\theta[\varphi(\boldsymbol X)],\theta\in\Theta
βφ(θ)=Pθ{用检验φ否定了H0}=Eθ[φ(X)],θ∈Θ
为
φ
\varphi
φ的功效函数,也称效函数或势函数。基于效用函数表示两类错误的犯错概率,可以表示为
α
φ
∗
(
θ
)
=
{
β
φ
(
θ
)
,
θ
∈
Θ
0
,
0
,
θ
∈
Θ
1
,
β
φ
∗
(
θ
)
=
{
0
,
θ
∈
Θ
0
,
1
−
β
φ
(
θ
)
,
θ
∈
Θ
1
.
\alpha_\varphi^*(\theta)=\left\{ \begin{array}{l} \beta_\varphi(\theta),&\theta\in\Theta_0,\\ 0,&\theta \in\Theta_1, \end{array} \right. \quad \beta_\varphi^*(\theta)=\left\{ \begin{array}{l} 0,&\theta\in\Theta_0,\\ 1-\beta_\varphi(\theta),&\theta\in\Theta_1. \end{array} \right.
αφ∗(θ)={βφ(θ),0,θ∈Θ0,θ∈Θ1,βφ∗(θ)={0,1−βφ(θ),θ∈Θ0,θ∈Θ1.
Neyman-Pearson准则:在保证犯第一类错误的概率不超过指定数值
α
∈
(
0
,
1
)
\alpha\in(0,1)
α∈(0,1)的检验中,寻找犯第二类错误概率尽可能小的检验。
检验的显著性水平:设 φ \varphi φ是一个检验而 0 < α < 1 0<\alpha<1 0<α<1,如果 φ \varphi φ犯第一类错误的概率总是不超过 α \alpha α,则称 α \alpha α是检验 φ \varphi φ的一个水平,称 φ \varphi φ是显著性水平为 α \alpha α的检验。这里显著性水平是不唯一的,所以取所有水平中最小的那个为真实水平,即 sup { β φ ( θ ) , θ ∈ Θ 0 } \sup\{\beta_\varphi(\theta),\theta\in\Theta_0\} sup{βφ(θ),θ∈Θ0}。