高维概率(一)（尾界与集中不等式）

在具有随机性变量的场景下，我们通常需要估计该随机变量可能的取值上界（或下界），并以此来设计相应的算法或解决方案。在概率论中，这样的估计通常被称为集中不等式（Concentration Inequality）。控制尾部概率$\mathbb{P}[x\ge t]$的一种方法是控制随机变量$X$的矩。获得对高阶矩的控制会导致尾概率的相应更尖锐的边界，从Markov’s inequality（只需要存在一阶矩)到Chernoff bound（需要存在矩生成函数）。

一.From Markov to Chernoff

1.最基本的尾界是马尔可夫不等式

Markov inequality

Theorem: 给定样本空间 $\Omega$上的非负随机变量 $x$ ，且$x$的期望$\mathbb{E}[x]$ 存在，则对任意 $t$>0 ，有
$$\mathbb{P}[x\ge t]\le \frac{\mathbb{E}[x]}{t}\text{\hspace{1em}(1.1)}$$

proof :假设$x$是非负随机变量，则有如下不等式
$$\begin{array}{rl}\mathbb{E}[x]& ={\int }_0^{+\infty }xp(x)\text{d}x\\ & ={\int }_0^{t}xp(x)\text{d}x+{\int }_t^{+\infty }xp(x)\text{d}x\\ & \ge {\int }_0^{t}xp(x)\text{d}x+{\int }_t^{+\infty }tp(x)\text{d}x\\ & \ge t{\int }_t^{+\infty }p(x)\text{d}x\\ & =t\mathbb{E}[x\ge t]\end{array}$$
2.马尔可夫不等式的一个直接推广是切比雪夫不等式

Chebyshev’s inequality

Theorem: 给定样本空间 $\Omega$上的随机变量 $x$，其期望 $\mathbb{E}[x]$和方差$\mathbb{V}ar[x]$均存在，则对任意 $t\ge 0$ ，有
$$\mathbb{P}[|x-\mathbb{E}[x]|\ge t]\le \frac{\mathbb{V}ar[x]}{t^2}\text{\hspace{1em}(1.2)}$$

proof :利用马尔可夫不等式，有如下结论
$$\begin{array}{rl}\mathbb{P}[(x-\mathbb{E}[x]{)}^2\ge t^2]& \le \frac{\mathbb{E}[(x-\mathbb{E}[x]{)}^2]}{t^2}\\ & \le \frac{\mathbb{V}ar[x]}{t^2}\end{array}$$
又因$t\ge 0$,由此有下式成立
$$\mathbb{P}[(x-\mathbb{E}[x]{)}^2\ge t^2]=\mathbb{P}[|x-\mathbb{E}[x]|\ge t]$$
证毕.

inference: 马尔可夫不等式的各种扩展适用于具有高阶矩的随机变量。例如，每当$x$具有$k$阶矩时，马尔可夫不等式对随机变量$|x{|}^k$的应用就会得出
$$\mathbb{P}[|x|\ge t]\le \frac{\mathbb{E}[|x{|}^k]}{t^k}\text{for all }t\ge 0\text{\hspace{1em}(1.3)}$$

proof :与切比雪夫不等式证明同理

3.事实上，这个结论还可以推广至非多项式函数上。

Theorem: 对于任意函数 $\varphi (x):\mathbb{R}\to [0,+\infty )$,且$\varphi (x)$严格单调增，则对任意 $t\in \mathbb{R}$,有
$$\mathbb{P}[x\ge t]=\mathbb{P}[\varphi (x)\ge \varphi (t)]\le \frac{\mathbb{E}[\varphi (x)]}{\varphi (t)}\text{\hspace{1em}(1.4)}$$

在概率不等式中，一个通常的变换便是利用所谓的矩母函数（Moment Generating Function）,即令$\varphi (x)=e^{\lambda x},\lambda >0$,此时，利用马尔可夫不等式我们可以得到
$$\mathbb{P}[x\ge t]\le \frac{\mathbb{E}[e^{\lambda x}]}{e^{\lambda t}}=\exp (\log \mathbb{E}[e^{\lambda x}]-\lambda t)$$
优化我们对$\lambda$的选择以获得最紧的结果，得到Chernoff bound
P [ x ≥ t ] ≤ inf ⁡ λ > 0 { exp ⁡ ( log ⁡ E [ e λ x ] − λ t ) } (1.5) \Bbb P[x\geq t]\leq \inf_{\lambda > 0} \{\exp(\log \Bbb E[e^{\lambda x}]-\lambda t)\}\tag{1.5} P[x≥t]≤λ>0inf​{ exp(logE[eλx]−λt)}(1.5)

Polynomial Markov versus Chernof

Theorem: 假设$x\ge 0$，并且$x$的矩母函数存在于零附近的区间中。给定$\delta >0$和整数$k=1,2$,有如下结论
$$\underset{k=1,2,\cdots }{\inf }\frac{\mathbb{E}[x^k]}{{\delta }^k}\le \underset{\lambda >0}{\inf }\frac{\mathbb{E}[e^{\lambda x}]}{e^{\lambda \delta }}$$

proof :使用泰勒展开
$$\mathbb{E}\left[e^{\lambda x}\right]=\sum _{n=0}^{\infty }\frac{{\lambda }^n}{n!}\mathbb{E}\left[x^n\right]\ge \left(\sum _{n=0}^{\infty }\frac{(\lambda \delta {)}^n}{n!}\right)\underset{k=0,1,2,\dots }{\inf }\frac{1}{{\delta }^k}\mathbb{E}\left[x^k\right]\ge e^{\lambda \delta }\underset{k=0,1,2,\dots }{\inf }{\delta }^{}$$