极限理论总结05：经验分布函数（ECDF）与KSn统计量

07.经验分布函数

设 $X_1,X_2,\dots ,X_n\stackrel{i.i.d.}{\sim }F$. 样本分布函数 $F_n$ 由n个观测值 $X_i$构造，每个$X_i$被赋有相同的权重 $1/n$, 定义为
F n ( x ) = 1 n ∑ i = 1 n 1 { X i ≤ x } , x ∈ R F_{n}(x)=\frac{1}{n} \sum_{i=1}^{n} 1_{\left\{X_{i} \leq x\right\}}, x \in \mathbb{R} Fn​(x)=n1​i=1∑n​1{Xi​≤x}​,x∈R
注：对于多元情况，不等号为逐分量成立。

样本分布函数也称为经验分布函数（ECDF），具有两重性：

• 对固定样本$X_i$，$F_n(\cdot )$是累积分布函数
• 对于固定的$x$，$F_n(x)$是随机变量

无偏性、收敛性与渐进正态性

定理7.1给出了经验分布函数的无偏性，收敛性与渐进正态性。

定理7.1：对固定 $x\in \mathbb{R}$

• E { F n ( x ) } = F ( x ) \mathrm{E}\left\{F_{n}(x)\right\}=F(x) E{Fn​(x)}=F(x) ， Var ⁡ { F n ( x ) } = F ( x ) { 1 − F ( x ) } n \operatorname{Var}\left\{F_{n}(x)\right\}=\frac{F(x)\{1-F(x)\}}{n} Var{Fn​(x)}=nF(x){1−F(x)}​

• $F_n(x)\stackrel{2nd}{\to }F(x)$ ，则有 $F_n(x)\stackrel{p}{\to }F(x)$

• $F_n(x)\stackrel{wp1}{\to }F(x)$

• [ F n ( x ) − E { F n ( x ) } ] / Var ⁡ { F n ( x ) } → d N ( 0 , 1 ) \left[F_{n}(x)-\mathrm{E}\left\{F_{n}(x)\right\}\right] / \sqrt{\operatorname{Var}\left\{F_{n}(x)\right\}} \stackrel{d}{\rightarrow} N(0,1) [Fn​(x)−E{Fn​(x)}]/Var{Fn​(x)} ​→dN(0,1)

注：较为常用的，$n{F}_n(x)\sim \mathrm{Binomial}(n,F(x))$

KSn统计量

定义 Kolmogorov-Smirnov 距离:
$${\mathrm{K}\mathrm{S}}_n=\underset{\mathbf{x}}{\sup }\Vert F_n(\mathbf{x})-F(\mathbf{x})\Vert$$
为用来衡量$F_n$与$F$间相似程度的统计量。该统计量具有分布无关性。

定理7.2（Dvoretzky–Kiefer–Wolfowitz, 1956）：令 $F$ 为定义在 $\mathbb{R}$的函数. 则存在常数 $C$ (与 $F$ 无关) 使得
$$\mathrm{P}\left({\mathrm{K}\mathrm{S}}_n>ϵ\right)\le C\exp \left(-2n{ϵ}^2\right),ϵ>0$$
对任意$n=1,2,\dots$均成立

注：由7.2可得$\mathrm{P}\left(\sqrt{n}{\mathrm{K}\mathrm{S}}_n>ϵ\right)\le C\exp \left(-2{ϵ}^2\right)$，因此 $\sqrt{n}{\mathrm{K}\mathrm{S}}_n=O_p(1)$

推论：

令 $C$ 为DKW 不等式中的常数. 则对任意的 $ϵ>0$,有
$$\mathrm{P}\left(\underset{m\ge n}{\sup }{\mathrm{K}\mathrm{S}}_m>ϵ\right)\le \frac{C{D}_{ϵ}^n}{1-D_{ϵ}}$$
其中 $D_{ϵ}=\exp \left(-2{ϵ}^2\right)$.

由此可以得到Glivenko-Cantelli定理。

Glivenko-Cantelli定理

定理7.3（Glivenko-Cantelli）：设 $F$ 为定义在 ${\mathbb{R}}^d$（ $d\ge 1$）上的累积分布函数，则有 ${\mathrm{K}\mathrm{S}}_n\stackrel{wp1}{\to }0$

进一步的，由Kolmogorov定理可以得出$K{S}_n$的渐进分布为布朗桥

定理7.4（Kolmogorov）：令 $\mathrm{F}$ 定义在 $\mathbb{R}$ 上并且连续，则：
$$\mathrm{P}\left(\sqrt{n}{\mathrm{K}\mathrm{S}}_n\le ϵ\right)\to 1-2\sum _{i=1}^{\infty }(-1{)}^{i+1}\exp \left(-2i^2{ϵ}^2\right),ϵ>0$$

定理7.5给出$F_n$的精确分布具有（$X_i$）分布无关性

定理7.5：令 $\mathrm{F}$ 定义在 $\mathbb{R}$ 上并且连续。则$\sqrt{n}K{S}_n$是分布无关的，它的精确分布与$F$无关。

证明：

定义 F − 1 ( p ) = inf ⁡ { x : F ( x ) ≥ p } F^{-1}(p)=\inf \{x: F(x) \geq p\} F−1(p)=inf{x:F(x)≥p}.则有对任意 $p\in (0,1)$ 和 $x\in \mathbb{R},F^{-1}(p)\le x$ $⟺$ $p\le F(x)$

则有
$$\begin{array}{rl}\underset{x}{\sup }\left|F_n(x)-F(x)\right|& =\underset{0\le p\le 1}{\sup }\left|F_n\left\{F^{-1}(p)\right\}-F\left\{F^{-1}(p)\right\}\right|\\ & =\underset{0\le p\le 1}{\sup }\left|F_n\left\{F^{-1}(p)\right\}-p\right|\end{array}$$
其中
F n { F − 1 ( p ) } = n − 1 ∑ i = 1 n 1 { X i ≤ F − 1 ( p ) } = n − 1 ∑ i = 1 n 1 { F ( X i ) ≤ p } = d n − 1 ∑ i = 1 n 1 { U i ≤ p } F_{n}\left\{F^{-1}(p)\right\}=n^{-1} \sum_{i=1}^{n} 1_{\left\{X_{i} \leq F^{-1}(p)\right\}}=n^{-1} \sum_{i=1}^{n} 1_{\left\{F\left(X_{i}\right) \leq p\right\}} \stackrel{d}{=} n^{-1} \sum_{i=1}^{n} 1_{\left\{U_{i} \leq p\right\}} Fn​{F−1(p)}=n−1i=1∑n​1{Xi​≤F−1(p)}​=n−1i=1∑n​1{F(Xi​)≤p}​=dn−1i=1∑n​1{Ui​≤p}​
， $U_i\stackrel{i.i.d.}{\sim }\text{ Unifrom }(0,1)$

故
K S n = d sup ⁡ 0 ≤ p ≤ 1 ∣ n − 1 ∑ i = 1 n 1 { U i ≤ p } − p ∣ = max ⁡ { max ⁡ j = 0 , 1 , … , n ( j n − U ( j ) ) , max ⁡ j = 1 , 2 , … , n + 1 ( U ( j ) − j − 1 n ) } = max ⁡ j = 1 , … , n max ⁡ { j n − U ( j ) , U ( j ) − j − 1 n } \begin{aligned} \mathrm{KS}_{n} & \stackrel{d}{=} \sup _{0 \leq p \leq 1}\left|n^{-1} \sum_{i=1}^{n} 1_{\left\{U_{i} \leq p\right\}}-p\right| \\ &=\max \left\{\max _{j=0,1, \ldots, n}\left(\frac{j}{n}-U_{(j)}\right), \max _{j=1,2, \ldots, n+1}\left(U_{(j)}-\frac{j-1}{n}\right)\right\} \\ &=\max _{j=1, \ldots, n} \max \left\{\frac{j}{n}-U_{(j)}, U_{(j)}-\frac{j-1}{n}\right\} \end{aligned} KSn​​=d0≤p≤1sup​∣∣∣∣∣​n−1i=1∑n​1{Ui​≤p}​−p∣∣∣∣∣​=max{j=0,1,…,nmax​(nj​−U(j)​),j=1,2,…,n+1max​(U(j)​−nj−1​)}=j=1,…,nmax​max{nj​−U(j)​,U(j)​−nj−1​}​
其中 $U_{(0)}=0$ and $U_{(n+1)}=1$

则$F_n$的分布与$F$无关

由此可以构造分布函数的置信区间与假设检验。