统计学习（五）：非参数检验

Kolmogorov - Smirnov 检验

Kolmogorov - Smirnov 检验，简称 K-S 检验，检验一个样本是否来自某连续分布(参考分布)。

定义5.1 Kolmogorov - Smirnov 统计量

设样本 $x_1, x_2, \dots, x_n$ 来自某分布 $F$, 经验分布( empirical distribution )为 $F_n$,
称统计量 $D_n=\mathop{sup}\limits_{x} |F_n(x)-F(x)|$ 为 K-S 统计量。其中，
$F_n(x)=\dfrac{1}{n}\sum\limits_{i=1}^n I(x_i \le x)$.
依 Glivenko-Cantelli 定理，如果样本来自总体 $F$, 那么

$$D_n\rightarrow 0,\,\,a.s.\qquad \mbox{当}\, n\rightarrow\infty\,\mbox{时}$$

定义5.2 Brownian Bridge

称一个连续时间的随机过程 $\{ B(t); \, 0\le t \le T\}$ 是一个布朗桥( Brownian ), 如果对
$\forall\, t\in [ 0,\,T ]\qquad B_t \xrightarrow{d}W_t\,|\,W_T=0$,

其中， $w_t,\, t\in [ 0,\, T ]$ 是一个维纳( Wiener Process ), 即布朗运动，也就是，

$W_t\sim N(0,\,t), \,\,\,\mbox{对}\,\forall\,t\ge 0$. 易见， $B(0)=B(T)=0$, 可以证明，

$\qquad B(t)=W(t)-\dfrac{t}{T} W(T), \,\, \mbox{对}\,\forall\, t\in [0,\, T]$.

定义5.3 Kolmogrov 分布

设 $K=\mathop{sup}\limits_{0\le t\le 1} |B(t)|$, 其中 $B(t)$ 是一个布朗桥( Brownian Bridge ),
称累积分布

$$\mathcal{P}(K\le x)=1-2\sum\limits_{k=1}^{\infty}(-1)^{k-1} e^{-2K^2 x^2} =\dfrac{\sqrt{2\pi}}{x}\sum\limits_{k=1}^{\infty}e^{-(2K-1)^2 \pi^2 / 8x^2 }$$
为 K 分布。

定理5.1 在 $H_0$ 下，即样本来自于假设分布 $F(x)$, 有

$$\sqrt{n} D_n \xrightarrow{d}\mathop{sup}\limits_{t} |B(F(t))|,\qquad\mbox{当}\,n\rightarrow\infty\, \mbox{时}$$
这里， B(t)