集中不等式 (Concentration inequality)

在概率论中，集中不等式提供了随机变量偏离一些值（如期望）的上限。

马尔科夫不等式（Markov’s Inequality）

假设$X$是一个非负的随机变量，对于所有常数$\alpha >0$，有：
$$P(X\ge \alpha )\le \frac{E(X)}{\alpha }$$
关于马尔科夫不等式的拓展，如果$\varphi$是一个严格递增且非负的函数，有：
$$P(X\ge \alpha )=P(\varphi (X)\ge \varphi (\alpha ))\le \frac{E(\varphi (X))}{\varphi (\alpha )}$$

契比雪夫不等式（Chebyshev’s Inequality）

对于随机变量$X$，对于所有常数$\alpha >0$，有：
$$P(|X-E(X)|\ge \alpha )\le \frac{Var(X)}{{\alpha }^2}$$
或者表示为：
$$P(|X-E(X)|\ge \alpha \cdot Std(X))\le \frac{1}{{\alpha }^2}$$
其中，$Std(X)$是随机变量$X$的标准差。切比雪夫不等式是马尔科夫不等式对于随机变量$X-E(X)$的情况，所以说切比雪夫不等式是马尔科夫不等式的特殊情况，并且这两个不等式的提出者巴夫尼提·列波维奇·切比雪夫和安德雷·马尔可夫是师生关系。

霍夫丁不等式（Hoeffding’s Inequality）

上面的马尔科夫和切比雪夫不等式都是一般性的，收敛性都比较 loose，为了得到收敛性更强的不等式，也就是指数形式的不等式，

对于独立随机变量$X_1,X_2,...,X_n$，对于所有的$X_i$有$a_i\le X_i\le b_i$，$S_n={\sum }_{i=1}^n{X}_i$，$E_n=E(S_n)={\sum }_{i=1}^{n}E(X_i)$，可以得到随机变量的和与其期望偏差之间的上界，有不等式：
$$P(|S_n-E_n|\ge t)\le 2exp(-\frac{2t^2}{{\sum }_{i=1}^n(a_i-b_i{)}^2})$$
也可以得到随机变量的算数平均值与其期望之间的偏差之间的上界，有不等式：
$$P(|\overline{X_n}-E(\overline{X_n})|\ge t)\le 2exp(-\frac{2n^2{t}^2}{{\sum }_{i=1}^n(a_i-b_i{)}^2})$$

班纳特不等式（Bennett’s Inequality）

班纳特不等式也是用于衡量独立随机变量的和与其期望之间偏差。与Hoeffding的不等式相比，当和的方差小于它们几乎确定的界限时，Bennett不等式提供了一些改进。

对于独立随机变量$X_1,X_2,...,X_n$，对于所有的$X_i$有$X_i\le a$，$S_n={\sum }_{i=1}^n{X}_i$，$E_n=E(S_n)={\sum }_{i=1}^{n}E(X_i)，V_n=Var(S_n)={\sum }_{i=1}^{n}Var(X_i)$可以得到随机变量的和与其期望偏差之间的上界，有不等式：
$$P(|S_n-E_n|\ge t)\le 2exp(-\frac{V_n}{a^2}h(\frac{at}{V_n}))$$
其中，$h(u)=(1+u)log(1+u)-u$

伯恩斯坦不等式（Bernstein’s Inequality）

对于独立随机变量$X_1,X_2,...,X_n$，对于所有的$X_i$有$b_i\le X_i\le a_i$，$b_i-a_i\le C$, $S_n={\sum }_{i=1}^n{X}_i$，$E_n=E(S_n)={\sum }_{i=1}^{n}E(X_i)，V_n=Var(S_n)={\sum }_{i=1}^{n}Var(X_i)$可以得到随机变量的和与其期望偏差之间的上界，有不等式：
$$P(|S_n-E_n|\ge t)\le 2exp(-\frac{t^2/2}{V_n+Ct/3})$$
这是Hoeffding的一个推广，因为它不仅可以处理独立变量，也可以处理弱独立变量。

补充

集中不等式在实际中经常会被用到，而在使用这些集中不等式的时候，对数据分布也是有要求的， 通常是假设数据的分布函数是具有尾部收敛性质。

REF

Wiki Concentration Inequality