一个tail bound定理

一些基础：

Markov不等式：为非负随机变量，

Chebyshev不等式：

Markov不等式的推论：当r为偶数时，有

注记：

1. Markov不等式要求X是非负随机变量，给出的界随着a的增长，以的速率下降
2. Chebyshev不等式不要求X是非负随机变量，给出的界随着a的增长，以的速率下降
3. 推论不等式在r为偶数的时候成立，给出的界随着a的增长，以的速率下降
4. 如果相较于, 等低阶矩增加的不是很多，被某种上界所限制，则推论效果会比较好，可以获得更紧的界（r越大，界越紧）；

 

定理的Intuition：

1. 在机器学习中，我们将样本看作随机变量，并且经常研究的相关性质
2. Chernoff界只适用于取值范围有界的随机变量（例如0-1随机变量），而指数分布和高斯分布的取值范围是无界的。
3. 可以证明如下结论：方差为1的指数分布和高斯分布的第s阶矩不超过s!（于是定理的复杂条件就比较合理了）

 

定理：

令