九、独立性检验和正态性检验
1.独立性检验
独立性检验,指的是将一个多元总体
X
∼
N
p
(
μ
,
Σ
)
X\sim N_p(\mu,\Sigma)
X∼Np(μ,Σ)划分成
k
k
k个部分,探究每个部分之间是否独立的问题,这样做的好处是显而易见的,如果一个总体
X
X
X可以划分成多个独立的部分,那么只需要对每一个部分分开讨论即可,无疑降低了运算量。在多元统计中,可以视为有如下分解:
X
=
[
X
(
1
)
⋮
X
(
k
)
]
,
μ
=
[
μ
(
1
)
⋮
μ
(
k
)
]
,
Σ
=
[
Σ
11
⋯
Σ
1
k
⋮
⋮
Σ
k
1
⋯
Σ
k
k
]
.
X=\begin{bmatrix} X^{(1)} \\ \vdots \\ X^{(k)} \end{bmatrix}, \mu=\begin{bmatrix} \mu^{(1)} \\ \vdots \\ \mu^{(k)} \end{bmatrix}, \Sigma=\begin{bmatrix} \Sigma_{11} & \cdots & \Sigma_{1k} \\ \vdots & & \vdots \\ \Sigma_{k1} & \cdots & \Sigma_{kk} \end{bmatrix}.
X=⎣⎢⎡X(1)⋮X(k)⎦⎥⎤,μ=⎣⎢⎡μ(1)⋮μ(k)⎦⎥⎤,Σ=⎣⎢⎡Σ11⋮Σk1⋯⋯Σ1k⋮Σkk⎦⎥⎤.
每一个分向量
X
(
t
)
X^{(t)}
X(t)都是
p
t
p_t
pt维的,对应的
μ
(
t
)
\mu^{(t)}
μ(t)也是
p
t
p_t
pt维的,
Σ
t
t
\Sigma_{tt}
Σtt是
p
t
×
p
t
p_t\times p_t
pt×pt的。在多元正态分布的介绍中提到,如果
X
(
1
)
,
⋯
,
X
(
k
)
X^{(1)},\cdots,X^{(k)}
X(1),⋯,X(k)是独立的,那么
Σ
i
j
=
O
\Sigma_{ij}=O
Σij=O对任何
i
≠
j
i\ne j
i=j都成立,反之也成立,因此在正态总体下,假设检验就变成了以下的形式:
H
0
:
∀
i
≠
j
,
Σ
i
j
=
O
⇔
H
1
:
∃
i
≠
j
,
Σ
i
j
≠
O
.
H_0:\forall i\ne j,\Sigma_{ij}=O\Leftrightarrow H_1:\exist i\ne j,\Sigma_{ij}\ne O.
H0:∀i=j,Σij=O⇔H1:∃i=j,Σij=O.
由于样本均值、样本离差阵是对总体均值、自协方差矩阵的估计,因此我们也可以对样本均值和样本离差阵作同型分解。如果
H
0
H_0
H0成立,则
X
(
α
)
(
t
)
∼
N
p
(
μ
(
t
)
,
Σ
t
t
)
X_{(\alpha)}^{(t)}\sim N_p(\mu^{(t)},\Sigma_{tt})
X(α)(t)∼Np(μ(t),Σtt)且相互独立,那么似然函数就是
L
(
μ
,
Σ
)
=
∏
t
=
1
k
L
t
(
μ
(
t
)
,
Σ
t
t
)
,
L(\mu,\Sigma)=\prod_{t=1}^kL_t(\mu^{(t)},\Sigma_{tt}),
L(μ,Σ)=t=1∏kLt(μ(t),Σtt),
取最大值的情况显然是
μ
(
t
)
=
X
ˉ
(
t
)
,
Σ
t
t
=
A
t
t
/
n
\mu^{(t)}=\bar X^{(t)},\Sigma_{tt}=A_{tt}/n
μ(t)=Xˉ(t),Σtt=Att/n,所以似然比统计量的分子是
∏
t
=
1
n
(
2
π
)
−
n
p
t
/
2
∣
A
t
t
/
n
∣
−
n
/
2
exp
{
−
1
2
∑
α
=
1
n
(
X
(
α
)
(
t
)
−
X
ˉ
(
t
)
)
′
(
A
t
t
n
)
−
1
(
X
(
α
)
(
t
)
−
X
ˉ
(
t
)
)
}
=
(
2
π
)
−
n
p
/
2
exp
{
−
1
2
∑
α
=
1
n
(
X
(
α
)
−
X
ˉ
)
′
(
A
n
)
−
1
(
X
(
α
)
−
X
ˉ
)
}
∏
t
=
1
k
∣
A
t
t
n
∣
−
n
/
2
.
\begin{aligned} &\prod_{t=1}^n(2\pi)^{-np_t/2}|A_{tt}/n|^{-n/2}\exp\left\{-\frac12\sum_{\alpha=1}^n(X_{(\alpha)}^{(t)}-\bar X^{(t)})'\left(\frac{A_{tt}}{n} \right)^{-1}(X_{(\alpha)}^{(t)}-\bar X^{(t)}) \right\}\\ =&(2\pi)^{-np/2}\exp\left\{-\frac12\sum_{\alpha=1}^n(X_{(\alpha)}-\bar X)'\left(\frac{A}{n} \right)^{-1}(X_{(\alpha)}-\bar X) \right\}\prod_{t=1}^k\left|\frac{A_{tt}}n{} \right|^{-n/2}. \end{aligned}
=t=1∏n(2π)−npt/2∣Att/n∣−n/2exp{−21α=1∑n(X(α)(t)−Xˉ(t))′(nAtt)−1(X(α)(t)−Xˉ(t))}(2π)−np/2exp{−21α=1∑n(X(α)−Xˉ)′(nA)−1(X(α)−Xˉ)}t=1∏k∣∣∣∣nAtt∣∣∣∣−n/2.
这里的转换可以用之前常用的迹变换得出。观察分子与分母,发现其大部分是相同的,所以得到似然比统计量为
λ
=
∏
t
=
1
k
∣
A
t
t
/
n
∣
−
n
/
2
∣
A
/
n
∣
−
n
/
2
=
(
∣
A
∣
∏
t
=
1
n
∣
A
t
t
∣
)
n
/
2
=
d
e
f
V
n
/
2
.
\lambda =\frac{\prod_{t=1}^k|A_{tt}/n|^{-n/2}}{|A/n|^{-n/2}}=\left(\frac{|A|}{\prod_{t=1}^n|A_{tt}|} \right)^{n/2}\stackrel {\rm def}=V^{n/2}.
λ=∣A/n∣−n/2∏t=1k∣Att/n∣−n/2=(∏t=1n∣Att∣∣A∣)n/2=defVn/2.
所以我们取检验统计量为
V
=
∣
A
∣
∏
i
=
1
k
∣
A
t
t
∣
.
V=\frac{|A|}{\prod_{i=1}^k|A_{tt}|}.
V=∏i=1k∣Att∣∣A∣.
并且有结论保证,在
H
0
H_0
H0成立的条件下,
−
b
ln
V
→
H
0
χ
2
(
f
)
-b\ln V\stackrel {H_0}\to \chi^2(f)
−blnV→H0χ2(f),这里
b
=
n
−
3
2
−
p
3
−
∑
t
=
1
k
p
t
3
3
(
p
2
−
∑
t
=
1
k
p
t
2
)
,
f
=
1
2
[
p
(
p
+
1
)
−
∑
t
=
1
k
p
t
(
p
t
+
1
)
]
.
b=n-\frac32-\frac{p^3-\sum_{t=1}^k p_t^3}{3(p^2-\sum_{t=1}^k p_t^2)}, \\ f=\frac 12\left[p(p+1)-\sum_{t=1}^k p_t(p_t+1) \right].
b=n−23−3(p2−∑t=1kpt2)p3−∑t=1kpt3,f=21[p(p+1)−t=1∑kpt(pt+1)].
事实上
−
b
ln
V
-b\ln V
−blnV是
−
2
ln
λ
-2\ln \lambda
−2lnλ的近似,故
b
b
b也是
n
n
n的近似,而
f
f
f就是两个参数空间的维度之差。
2.一元数据正态性检验
回顾我们之前提到的假设检验,包括均值向量、自协方差矩阵、独立性的检验,都基于一个前提——总体是多维正态分布,如果这个正态性不满足,与三大分布相关的统计量转化、似然比统计量的表现形式都将不同于此形式,从而无法应用已有的结论。因此,本节探讨样本的正态性检验,概括起来就是,给定 n n n个 p p p维样本 X ( α ) X_{(\alpha)} X(α),判断总体 X X X是否服从 N p ( μ , Σ ) N_p(\mu,\Sigma) Np(μ,Σ)分布。
多元数据的正态性检验问题,常常转化为多个一元或二元数据的正态性检验,或者先求 X X X的分量的线性组合再化为一元数据的正态性检验等。虽然我们知道,边缘分布的正态性不能推出总体分布的正态性,但是在实际应用中,这种情况并不常见,所以我们可以先将目光放在一元数据的正态性检验。
常用于一元数据检验的方法有Pearson χ 2 \chi^2 χ2检验法(比较适合离散情形)、Kolmogorov检验法(比较适合连续情形),不过在Kolmogorov检验中我们需要得知总体的参数,即均值和方差,在实际应用中这个条件很难满足,所以我们会使用总体均值和总体方差代替,这就是Lilliefors检验。
还有一些仅适用于正态分布的检验法:偏度峰度检验法,Q-Q图和P-P图检验法、Anderson-Darling统计量检验法、Cramer-von Mises统计量检验法等。
偏度峰度法指的是,计算样本偏度和样本峰度:
G
1
=
∑
(
X
i
−
X
ˉ
)
3
[
∑
(
X
i
−
X
ˉ
)
2
]
3
/
2
,
G
2
=
∑
(
X
i
−
X
ˉ
)
4
[
∑
(
X
i
−
X
ˉ
)
2
]
2
,
G_1=\frac{\sum(X_i-\bar X)^3}{[\sum(X_i-\bar X)^2]^{3/2}},\quad G_2=\frac{\sum(X_i-\bar X)^4}{[\sum(X_i-\bar X)^2]^2},
G1=[∑(Xi−Xˉ)2]3/2∑(Xi−Xˉ)3,G2=[∑(Xi−Xˉ)2]2∑(Xi−Xˉ)4,
在正态性成立时,近似有
G
1
∼
N
(
0
,
6
(
n
−
2
)
(
n
+
1
)
(
n
+
3
)
)
,
G
2
∼
N
(
3
−
6
n
−
1
,
24
n
(
n
−
2
)
(
n
−
3
)
(
n
+
1
)
2
(
n
+
3
)
(
n
+
5
)
)
.
G_1\sim N\left(0,\frac{6(n-2)}{(n+1)(n+3)} \right), \\ G_2\sim N\left(3-\frac6{n-1},\frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)} \right).
G1∼N(0,(n+1)(n+3)6(n−2)),G2∼N(3−n−16,(n+1)2(n+3)(n+5)24n(n−2)(n−3)).
很容易用Z检验找到其拒绝域。
Q-Q(Quantile Quantile)图检验法是一种图示检验法,绘制 ( q i , x ( i ) ∗ ) (q_i,x_{(i)}^*) (qi,x(i)∗)散点图,这里 q i = Φ − 1 ( p i ) q_i=\Phi^{-1}(p_i) qi=Φ−1(pi)是样本的 p i p_i pi分位数, x ( i ) ∗ x_{(i)}^* x(i)∗是样本的 p i p_i pi分位数,如果 X X X是一元正态总体,则这些散点应该散布在一条直线上。P-P图检验法也是图示检验,绘制的数据点是 ( p i , F ( x ( i ) ∗ ) ) (p_i,F(x_{(i)}^*)) (pi,F(x(i)∗)),其中 p i p_i pi是经验分布函数 F n ( x ) F_n(x) Fn(x)在 x ( i ) ∗ x_{(i)}^* x(i)∗上的值, F ( x ( i ) ∗ ) F(x_{(i)}^*) F(x(i)∗)是 Φ ( x ) \Phi(x) Φ(x)在 x ( i ) ∗ x_{(i)}^* x(i)∗上的值。在实际应用Q-Q图检验和P-P图检验时, x ( i ) ∗ x_{(i)}^* x(i)∗要先选好。
Anderson-Darling
A
2
A^2
A2检验(AD检验)的检验统计量是
A
2
=
n
∫
−
∞
∞
(
F
n
(
x
)
−
Φ
(
x
)
)
2
Φ
(
x
)
(
1
−
Φ
(
x
)
)
d
Φ
(
x
)
,
A^2=n\int_{-\infty}^\infty \frac{(F_n(x)-\Phi(x))^2}{\Phi(x)(1-\Phi(x))}{\rm d}\Phi(x),
A2=n∫−∞∞Φ(x)(1−Φ(x))(Fn(x)−Φ(x))2dΦ(x),
这里
[
Φ
(
x
)
(
1
−
Φ
(
x
)
)
]
−
1
[\Phi(x)(1-\Phi(x))]^{-1}
[Φ(x)(1−Φ(x))]−1是权重函数,如果权重函数取
1
1
1,就得到Cramer-von Mises
W
2
W^2
W2检验的检验统计量
W
2
=
n
∫
−
∞
∞
(
F
n
(
x
)
−
Φ
(
x
)
)
2
d
Φ
(
x
)
.
W^2=n\int_{-\infty}^\infty (F_n(x)-\Phi(x))^2{\rm d}\Phi(x).
W2=n∫−∞∞(Fn(x)−Φ(x))2dΦ(x).
结合Kolmogorov-Smirnov统计量
D
=
sup
∣
F
n
(
x
)
−
Φ
(
x
)
∣
D=\sup|F_n(x)-\Phi(x)|
D=sup∣Fn(x)−Φ(x)∣,这三个统计量都是原假设成立时不能过大的,依赖于一个概率表值来检验原假设是否应该被接受。不过,这三种检验方式适用于各种假设检验,只要将表达式中的
Φ
(
x
)
\Phi(x)
Φ(x)换成对应的分布函数即可。
3.多元数据的正态性检验
对于二元数据,存在一种粗糙的检验方法:等概椭圆检验法。其理论基础是二维随机向量
X
X
X如果来自于正态总体,则其概率密度函数等高线应该是一个椭圆,即
X
∼
N
2
(
μ
,
Σ
)
X\sim N_2(\mu,\Sigma)
X∼N2(μ,Σ)时,应有
f
(
x
1
,
x
2
)
=
a
⇔
(
X
−
μ
)
′
Σ
−
1
(
X
−
μ
)
=
b
2
.
f(x_1,x_2)=a\Leftrightarrow (X-\mu)'\Sigma^{-1}(X-\mu)=b^2.
f(x1,x2)=a⇔(X−μ)′Σ−1(X−μ)=b2.
所以我们计算二元数据
X
(
i
)
X_{(i)}
X(i)到
X
ˉ
\bar X
Xˉ的马氏距离
D
i
=
(
X
(
i
)
−
X
ˉ
)
′
S
−
1
(
X
(
i
)
−
X
ˉ
)
D_i=(X_{(i)}-\bar X)'S^{-1}(X_{(i)}-\bar X)
Di=(X(i)−Xˉ)′S−1(X(i)−Xˉ),在给定数值
p
0
p_0
p0下,
D
i
≤
p
0
D_i\le p_0
Di≤p0的频率应该和某一个定值比较接近,这个定值可以通过查表获得。由于这是一种比较粗糙的方法,我们在实际应用中会使用更为正式的方法。
现在介绍
p
p
p维数据
χ
2
\chi^2
χ2统计量的Q-Q图检验法,我们将假设确定为参数已知的,即
H
0
:
X
∼
N
p
(
μ
,
Σ
)
⇔
H
1
:
X
≁
N
p
(
μ
,
Σ
)
.
H_0:X\sim N_p(\mu,\Sigma)\Leftrightarrow H_1:X\nsim N_p(\mu,\Sigma).
H0:X∼Np(μ,Σ)⇔H1:X≁Np(μ,Σ).
由于在正态性假设
H
0
H_0
H0成立的前提下,样本
X
X
X到中心
μ
\mu
μ的马氏距离存在以下关系:
D
2
=
(
X
−
μ
)
′
Σ
−
1
(
X
−
μ
)
∼
χ
2
(
p
)
,
D^2=(X-\mu)'\Sigma^{-1}(X-\mu)\sim \chi^2(p),
D2=(X−μ)′Σ−1(X−μ)∼χ2(p),
所以我们可以直观地想到验证样本的马氏距离是否具有这样的关系。因此,我们计算样本
X
(
α
)
X_{(\alpha)}
X(α)到
μ
\mu
μ的马氏距离
D
α
2
=
(
X
(
α
)
−
μ
)
′
Σ
−
1
(
X
(
α
)
−
μ
)
D_{\alpha}^2=(X_{(\alpha)}-\mu)'\Sigma^{-1}(X_{(\alpha)}-\mu)
Dα2=(X(α)−μ)′Σ−1(X(α)−μ),并对
D
α
2
D_\alpha^2
Dα2进行排序得到次序统计量
D
(
α
)
D_{(\alpha)}
D(α),计算其经验分布函数,这样有了经验分布函数与
χ
2
(
p
)
\chi^2(p)
χ2(p)分布的分布函数后,就可以绘制Q-Q图或者P-P图。
在实际应用中,我们往往不知道 μ , Σ \mu,\Sigma μ,Σ的值,所以会用样本均值 X ˉ \bar X Xˉ和样本协方差阵 A / ( n − 1 ) A/(n-1) A/(n−1)代替,得到的Q-Q图或P-P图应该是一条通过原点、斜率为1的直线,如果是这样,就可以接受正态性假设,否则应当拒绝。
回顾总结
-
正态总体的独立性检验,我们一般会取检验统计量为
V = ∣ A ∣ ∏ t = 1 k ∣ A t t ∣ . V=\frac{|A|}{\prod_{t=1}^k |A_{tt}|}. V=∏t=1k∣Att∣∣A∣.
当 n → ∞ n\to \infty n→∞时,有 − b ln V → χ 2 ( f ) -b\ln V\to \chi^2(f) −blnV→χ2(f),这里
b = n − 3 2 − p 3 − ∑ t = 1 k p t 3 3 ( p 2 − ∑ t = 1 k p t 2 ) , f = p ( p + 1 ) 2 − ∑ t = 1 k p k ( p k + 1 ) 2 . b=n-\frac32-\frac{p^3-\sum_{t=1}^k p_t^3}{3(p^2-\sum_{t=1}^k p_t^2)},\\ f=\frac{p(p+1)}{2}-\sum_{t=1}^k\frac{p_k(p_k+1)}{2}. b=n−23−3(p2−∑t=1kpt2)p3−∑t=1kpt3,f=2p(p+1)−t=1∑k2pk(pk+1). -
一元总体的正态性检验有很多方法,如K-S检验、A-D检验、Cramer-von Mises检验,但K-S检验的效果一般,A-D检验的效果比较好,其检验统计量是
A 2 = n ∫ − ∞ ∞ ( F n ( x ) − Φ ( x ) ) 2 Φ ( x ) ( 1 − Φ ( x ) ) d Φ ( x ) . A^2=n\int_{-\infty}^\infty \frac{(F_n(x)-\Phi(x))^2}{\Phi(x)(1-\Phi(x))}{\rm d}\Phi(x). A2=n∫−∞∞Φ(x)(1−Φ(x))(Fn(x)−Φ(x))2dΦ(x). -
Q-Q图是分位数图,首先选定一组分位数间隙 x ( i ) ∗ x_{(i)}^* x(i)∗,然后在样本中寻找相应分位数,在总体中也寻找相应分位数,将分位数绘制成散点图,观察其是否位于一条直线上。
-
P-P图是累计分布图,首先选定一组分位数间隙 x ( i ) ∗ x_{(i)}^* x(i)∗,然后绘制经验分布函数与总体分布函数在 x ( i ) ∗ x_{(i)}^* x(i)∗处的取值,将两个取值绘制成散点图,观察其是否位于一条直线上。
-
多元总体的正态性检验采用 χ 2 \chi^2 χ2统计量的Q-Q图检验法,计算样本到中心 X ˉ \bar X Xˉ的马氏距离并排序,用Q-Q图判断是否属于 χ 2 ( p ) \chi^2(p) χ2(p)分布,或用K-M检验法。马氏距离的定义如下:
D α = ( X ( α ) − X ˉ ) ′ S − 1 ( X ( α ) − X ˉ ) . D_\alpha=(X_{(\alpha)}-\bar X)'S^{-1}(X_{(\alpha)}-\bar X). Dα=(X(α)−Xˉ)′S−1(X(α)−Xˉ).