Glivenko-Cantelli class & Donsker class

$X_1,...,X_n$是来自于可测空间 $(\mathcal{X},\mathcal{A})$ 上概率分布 $P$ 的随机样本。经验分布函数是观测值的离散均匀测度，记 ${\delta }_x$ 是 $x$ 处的概率分布，则令 ${\mathbb{P}}_n=n^{-1}{\sum }_{i=1}^n{\delta }_X$。若对于可测函数 $f:\mathcal{X}\mapsto \mathbb{R}$，记 ${\mathbb{P}}_{n}f$ 是经验测度下 $f$ 的期望， $P_{n}f$ 是 概率分布 $P$ 上 $f$ 的期望。因此，
$${\mathbb{P}}_{n}f=\frac{1}{n}\sum _{i=1}^{n}f(X_i),P_{n}f=\int fdP.$$
由大数定律知， ${\mathbb{P}}_{n}f$几乎处处收敛于 $P_{n}f$。

The abstract Glivenko-Cantelli theorems make this result uniform in $f$ ranging over a class of functions.

Glivenko-Cantelli class

A class $\mathcal{F}$ of measurable functions $f:\mathcal{X}\mapsto \mathbb{R}$ is called P-Glivenko-Cantelli if
$$\Vert {\mathbb{P}}_{n}f-Pf{\Vert }_{\mathcal{F}}=\underset{f\in \mathcal{F}}{\sup }|{\mathbb{F}}_{n}f-Pf|\stackrel{a.s.}{⟶}0.$$
The empirical process evaluated at $f$ is defined as ${\mathbb{G}}_{n}f=\sqrt{n}({\mathbb{P}}_{n}f-Pf)$.
由多元中心极限定理，给定任一可测函数$f_i$的有限集，满足$P{f}_i^2<\infty$, 有
$$({\mathbb{G}}_n{f}_1,...,{\mathbb{G}}_n{f}_k)⇝({\mathbb{G}}_P{f}_1,...,{\mathbb{G}}_P{f}_k)。$$
右边的向量服从一个均值为0，方差为
$$E{\mathbb{G}}_{P}f{\mathbb{G}}_{P}g=Pfg-PfPg$$
的正态分布。

The abstract Donsker theorems make this result “uniform” in classes of functions

Donsker class

A class $\mathcal{F}$ of measurable functions $f:\mathcal{X}\mapsto \mathbb{R}$ is called P -Donsker if the sequence of processes { G n f : f ∈ F } \{\mathbb{G}_nf : f \in\mathcal{F}\} {Gn​f:f∈F} converges in distribution to a tight limit process in the space $l^{\infty }(\mathcal{F})$ .

判断

判断函数类是Glivenko Cantelli族还是Donsker族取决于类的“大小”。
##某些情况下，一个可积函数的有限类总是G-C族，一个二次可积的有限类总是G-C族或Donsker族。
衡量$\mathcal{F}$类的大小的一个相对简单的方法是用熵来衡量。
这里主要考虑相对于$L_r(P)$范数的bracketing熵
$$\Vert f{\Vert }_{P,r}=(P|f{|}^r{)}^{\frac{1}{r}}$$.
给定两个函数 $l$ 和 $u$，bracket $[l,u]$ 是满足 $l \leq f \leq u$。
$L_r(P)$上的 $ϵ$-bracket $[l,u]$ 满足 $P(u-l{)}^r<{ϵ}^r$。

Bracketing number $N_{[]}(ϵ,\mathcal{F},L_r(P))$ 是用 $ϵ$-brackets 覆盖 $\mathcal{F}$ 的最小数目。 Bracketing function $l$ 和 $u$ 是 $L_r(P)$范数有限的，但不一定属于 $\mathcal{F}$。Bracketing entropy(熵) 就是$\log (bracketingnumber)$。

P-Glivenko-Cantelli的一个简单的条件是对每一 $ϵ>0$,$L_1(P)$ 上的 bracketing numbers 是有限的。

Theorem 1 (Glivenko- Cantelli)
Every class $\mathcal{F}$ of measurable functions such that $N_{[]}(ϵ,\mathcal{F},L_1(P))<\infty$ for every $ϵ>0$ is P-Glivenko-Cantelli.

Donsker族的一个充分条件是当 $ϵ\downarrow 0$ 时，$N_{[]}(ϵ,\mathcal{F},L_r(P))$ 增长到 $\infty$ 的速度不要过快，增长速度可以通过 bracketing integral 来衡量
$$J_{[]}(\delta ,\mathcal{F},L_2(P))={\int }_0^{\delta }\sqrt{\log N_{[]}(ϵ,\mathcal{F},L_2(P))}dϵ.$$
如果以上积分是有限值，则 $\mathcal{F}$ 是 P-Donsker族。被积函数是关于 $ϵ$ 的减函数，所以，积分的收敛性依赖于 $ϵ\downarrow 0$ 时 bracketing numbers 的大小。由于$r<1$时，${\int }_0^1{ϵ}^{-r}dϵ$收敛；$r>1$时，${\int }_0^1{ϵ}^{-r}dϵ$发散，因此，积分条件大致要求熵增长的速度慢于 $(1/ϵ{)}^2$。

Theorem 2 (Donsker)
Every class $\mathcal{F}$ of measurable functions with $J_{[]}(1,\mathcal{F},L_2(P))<\infty$ is P-Donsker.

Covering number $N(ϵ,\mathcal{F},L_2(Q))$ 是覆盖集 $\mathcal{F}$ 所需的半径为 $ϵ$ 的 $L_2(Q)$球的最小数目。熵是覆盖数的对数 $(entropy=\log (Coveringnumber))$。 Donsker theorems 可以用 uniform covering numbers 代替。
uniform covering numbers:
$$\underset{Q}{\sup }N(ϵ\Vert F{\Vert }_{Q,r},\mathcal{F},L_r(Q))$$
此上确界适用于所有的概率测度Q，对于这些测度，$\mathcal{F}$类不等于零且 $\Vert F{\Vert }_{Q,r}^r=Q{F}^r>0$。uniform covering numbers 与给定的 envelope function $F$ 相关。
一致覆盖数与给定的包络函数F有关。

如果 covering numbers 被 envelope function 的 norm $\Vert F{\Vert }_{Q,r}$ 标准化，在不同测度 $Q$ 下，covering numbers 也会比较稳定。

uniform entropy integral:
$$J(\delta ,\mathcal{F},L_2)={\int }_0^{\delta }\sqrt{\log \underset{Q}{\sup }N(ϵ\Vert F{\Vert }_{Q,r},\mathcal{F},L_2(Q))}dϵ$$

Theorem 3 (Glivenko-Cantelli). Let $\mathcal{F}$ be a suitably measurable class of measurable functions with ${\sup }_{Q}N(ϵ\Vert F{\Vert }_{Q,1},\mathcal{F},L_1(Q))<\infty$ for every $ϵ>0$. If $P\ast F^2<\infty$, then $\mathcal{F}$ is P-Glivenko-Cantelli.

Theorem 4 (Donsker). Let $\mathcal{F}$ be a suitably measurable class of measurable functions with $J(1,\mathcal{F},L_2)<\infty$. If $P\ast F^2<\infty$, then $\mathcal{F}$ is P-Donsker.
“suitably measurable”: 没有给出一个一般的定义，但是注意到存在一个函数的可数集合$\mathcal{G}$，使得每个 $f$ 是 $\mathcal{G}$ 中序列 $g_m$的逐点极限就足够了。

[1]:Asymptotic Statistics