【高维统计N2】工具和方法

高维统计需要对随机变量进行估计和误差分析，其使用的工具和方法与传统统计有所差异。
统计学研究的内容涉及：

1. 怎么估计
   a. 抽样出样本
   b. 参数估计：eg无偏估计 $\hat{\theta }\to \theta$
   c. 模型分析
   d. 优化问题求解：梯度下降
2. 估计的合理性
   a. 误差估计:$||\hat{\theta }-\theta ||$

我们都知道用样本均值估计总体均值，样本协方差矩阵估计总体协方差矩阵，但是为什么能这样估计？估计的误差怎么衡量？这就是模型分析和误差估计要做的事情。
这篇note对后续所需要的随机变量估计涉及的不等式进行讨论，例如常用随机变量（sub-gaussian\sub-exponential)的不等式、推导不等式的所用工具和方法。

PartA–Basic tail and concentration bounds

什么是tail bounds，concentration bounds?

随机变量$x$的值用概率大小来度量，实际应用往往需要估计随机变量处在某个区间的概率，tail bounds是估计$P(|x|>t)$，concentration bounds是估计$P(|x-\mu |\ge t)$

A1. 常用的tail bounds

（1）markov不等式

（2）chebyshev不等式

（3）markov不等式的推广

（4）chernoff bound
从moment generating function角度，设$\varphi (\lambda )=\mathbb{E}[e^{\lambda (X-\mu )}]$

两边取对数，即得到chernoff bound：

example1-(gaussian tail bound)

抽象出具有这样upper deviation不等式的随机变量，即sub-gaussian随机变量

A2. sub-gaussian和sub-exponential的tail bounds

sub-gaussian

（1）sub-gaussian定义

（2）concentration inequality
sub-gaussian随机变量$X$是满足upper deviation不等式的，那么$-X$是满足lower deviation不等式的，合起来就是concentration不等式：

（3）一些sub-gaussian的例子
example1–Rademacher variables

example2–Bounded random variables

（4）sub-gaussian的和----hoeffding bound

（5）sub-gaussian的等价定义方式

• MGF
• 任意sub-gaussian都能用高斯随机变量衡量
• 控制moments
  

比sub-gaussian条件宽松的随机变量–sub-exponential

（1）sub-exponential的定义
和sub-gaussian不同的是，sub-exponential只要求在某区间上满足不等式

（2）tail bound和concentration bound（bernstein不等式）

根据sub-exponential的定义，将估计MGF推广到估计$(X-\mu {)}^k$，就是bernstein条件：

利用bernstein条件可以获得比hoeffding bound更紧的界：

（3）sub-exponential的和
$X_k$是sub-exponential的，参数$({\gamma }_k,{\alpha }_k)$,那么${\sum }_{k=1}^n(X_k-{\mu }_k)$也是sub-exponential的，参数为$({\gamma }_{\ast },{\alpha }_{\ast })$,其中

tail bounds:

（4）sub-exponential的等价定义方式

（5）单边的bernstein不等式

从${\sum }_{i=1}^n(X_i-{\mu }_i)$推广到$f(X)$的bounds
goal:设$f:{\mathbb{R}}^n\to \mathbb{R}$，获得$f(X)-\mathbb{E}[f(X)]$的界

（1）martingale
定义一个递增的$\sigma -$域 { F k } k = 1 ∞ \{\mathcal{F}_k\}_{k=1}^{\infty} {Fk​}k=1∞​(也叫filtration)，设 { Y k } k = 1 ∞ \{Y_k\}_{k=1}^{\infty} {Yk​}k=1∞​在${\mathcal{F}}_k$上可测，则

$D_k=Y_k-Y_{k-1}$为martingale序列

（2）一些例子

（3）martingale序列$D_k$的Concentration bounds

(4）利普希茨函数的bounds

PartB–Concentration of measure

得到tail bounds和concentration bounds的方法：

B1.entropy methods

（1）$\varphi -$entropy
设$X\sim \mathbb{P}$，凸函数$\varphi :\mathbb{R}\to \mathbb{R}$，定义一个衡量随机变量可变性（扰动）的度量：

例子：

设MGF为${\phi }_X(\lambda )=\mathbb{E}[e^{\lambda X}]$，则entropy和MGF的关系：

（2）entropy与tail bounds
entropy是衡量随机变量可变性（扰动）的度量，那么限制entropy就等于给随机变量找bounds:

• sub-gaussian
  
• sub-exponential

B2. 几何方法

（1）concentration function

Q1：concentration function怎么得到concentration bound？
Q2：当$ϵ$变大，concentration function会如何变化，它趋向于0的速度如何?


（2）从几何到concentration bounds

B3. transportation cost方法

（1）wasserstein distance
度量空间$(\mathcal{X},\rho )$上的两个概率分布$\mathbb{Q},\mathbb{P}$的距离：

其中$||f|{|}_{Lip}$是使得利普希茨条件成立的最小$L$

（2）wasserstein distance的对偶定义

（3）KL散度

（4）Tensor for transportation cost

partC–大数定律

C1. 动机

累积分布函数

累计分布函数$F(t)=\mathbb{P}(X\le t)$, { X i } i = 1 n \{X_i\}_{i=1}^n {Xi​}i=1n​是从$F$中抽的独立样本，用经验累积分布函数

估计$F$，由强大数定理可知${\hat{F}}_n(t)\stackrel{\text{a.s}}{\to }F(t)$（点点收敛）；一致收敛是更为严格的收敛，对于用$\gamma ({\hat{F}}_n)$估计$\gamma (F)$提供理论支持

$\gamma ({\hat{F}}_n)$估计$\gamma (F)$的例子：

一般函数

随机变量$||P_n-P|{|}_{\mathcal{F}}$对于：

• empirical risk minimization
• decision-theoretic
  十分关键

empirical risk

population risk

excess risk

C2. Rademacher complexity

（1）定义empirical Rademacher complexity


它衡量了$(f(X_1),...,f(X_n))$与噪声$({ϵ}_1,...,{ϵ}_n)$的最大相关程度

对任意的有界函数集合$\mathcal{F}$，${\mathcal{R}}_n(\mathcal{F})=o(1)$即为Glivenko–Cantelli property

求分布的误差可转换为求Rademacher complexity的上界

• 有限函数类：simple union bound methods
• 无线函数类：metric entropy、chaining arguments

method1—simple union bound methods

设$x_1^n=(x_1,...,x_n)$为点集，集合$\mathcal{F}(x_1^n)=\{(f(x_1),...,f(x_n))|f\in \mathcal{F}\}$的“大小”提供了一种依靠样本的度量$\mathcal{F}$的方式：

• $\mathcal{F}(x_1^n)$对所有样本都是有限的个数，那么大小就是cardinality
• 我们关系cardinality关于n成多项式增长的函数集

这类函数集的Rademacher complexity上界：

哪些函数满足polynomial discrimination

1. Classical Glivenko–Cantelli
2. Vapnik–Chervonenkis (VC) dimension

如果$\nu (\mathcal{F})$有限，则称$\mathcal{F}$为VC类；任意有限VC类都满足 polynomial discrimination（degree最大为VC dim）

method2— Metric entropy

（1）覆盖数的定义

$\log N(\delta ;\mathbb{T},\rho )$为metric entropy

以上用了不同的方法获得上下界，packing number可以把这两种方法统一

packing number和覆盖数的关系：

（2）使得metric entropy满足的几何性质

（3）随机过程

metric entropy描述的是确定的
随机过程的描述 { X θ , θ ∈ T } \{X_\theta,\theta\in\mathbb{T}\} {Xθ​,θ∈T}往往依赖指标集$\mathbb{T}$的结构

考虑两个方向的问题：

1. 给定$\mathbb{T}$的结构，随机过程的表现如何
2. 给定随机过程，指标集$\mathbb{T}$会有什么性质

12相互作用的例子：Gaussian and Rademacher complexity

两者关系：

（4）更一般的：sub-Gaussian processes

upper bound

tighter bound

lower bound