经验过程简介与suprema的集中（Guntuboyina理论统计学笔记）

Type	Notes
Title	Theoretical Statistics
Author(s)	Aditya Guntuboyina
Year	2018 Spring
Level	Graduate
Location	UC Berkeley
Department	Department of Statistics
Course Number	210B
Lecture(s)	L01–L04

UC Berkeley 的课程编号规则是：编号 1–99 的为初级本科课程，编号 100–199 的为高级本科课程，编号 200–299 的为研究生课程。

本课程是 UC Berkeley 理论统计的两门课之一，另外一门是 210A。老师是 UC Berkeley 的副教授。本课程有讲义，讲义typo较多，公式引用有少量错乱。

这门课的第一部分主要讲经验过程理论，讲得比较基础，优点是讲的线索清晰，并且是从动机出发的。

经验过程 Overview

经验过程主要研究两个问题，一个是ULLN，一个是UCLT。

现有$n$个i.i.d.的随机变量$X_1,\cdots ,X_n\sim \mathrm{P}$，主要要研究的是
$$\underset{f\in \mathcal{F}}{\sup }|\frac{1}{n}\sum _{i=1}^{n}f(X_i)-\mathrm{E}f(X_1)|$$
显然，这是一个非负随机变量，它非常重要，Guntuboyina用了分类器和M-估计量两个例子，说明在这两个例子中，关键部分都和上面这个量有关。

我们要研究的是：它集中于期望附近吗？能否得到用$\mathcal{F}$和$\mathrm{P}$表示的非渐近的bound？在什么条件下，它可以依概率或几乎必然收敛到$0$？

控制这个量的思路是：首先说明它集中于期望附近，于是可以通过控制它的期望控制它；而想要控制它的期望，可以用对称化技巧控制$\mathcal{F}$的Rademacher复杂度；最后，$\mathcal{F}$的Rademacher复杂度涉及一个sub-Gaussian过程的$\mathrm{E}\sup (\cdot )$，这可以用chaining方法控制，在其中又会用到VC维的技术。

UCLT

除了ULLN外，还要研究UCLT。

还是以EDF $F_n(t)$为例，记$U_n(t)=\sqrt{n}(F_n(t)-F(t))$，对于每个$t$，它都是一个随机变量。随着$n\to \infty$，CLT说的是$U_n(t)$会依分布收敛于$N(0,t-t^2)$，或者多元的情形（有限维）下，收敛到多元正态分布，即在随机过程中学过的Brownian bridge，可记为$U(t)$。

但是否有整个随机过程的收敛，即对于无限维的收敛？

首先要明确随机过程的收敛到底是什么意思。 { U n ( t ) : t ∈ [ 0 , 1 ] } \{U_n(t):t\in[0,1]\} { Un​(t):t∈[0,1]}是一个随机过程，它的每个实现都是${\ell }^{\infty }([0,1])$中的元素，如果对于任意有界连续函数$h:{\ell }^{\infty }([0,1])\to \mathbb{R}$（空间${\ell }^{\infty }([0,1])$装备了度量$\Vert \cdot {\Vert }_{\infty }$），都有
$$\mathrm{E}h(U_n)\to \mathrm{E}h(U)$$
那么我们称$U_n$弱收敛于$U$。这个定义很合理，唯一的问题是可能有可测性问题：存在某个有界连续的$h$，使得$h(U_n)$不可测，因此，上式左侧要用外期望${\mathrm{E}}^{\ast }h(U_n$