切诺夫界 (Chernoff bounds)

以下内容来自此处.
在本文中我们将首先给出若干结论, 再给出切诺夫界及其证明.
设$X$为一随机变量, $a\in \mathbb{R}$, 则对于任意$s>0$, 由马尔科夫不等式有公式1:
$$\mathrm{Pr}(X\ge a)=\mathrm{Pr}(e^{sX}\ge e^{sa})\le \frac{E(e^{sX})}{e^{sa}}$$
类似的, 对于任意$s>0$, 由马尔科夫不等式有公式2:
$$\mathrm{Pr}(X\le a)=\mathrm{Pr}(e^{-sX}\ge e^{-sa})\le \frac{E(e^{-sX})}{e^{-sa}}$$

令$M_X(s)=E(e^{sX})$, 则由泰勒展开得
$$M_X(s)=E(1+sX+\frac{1}{2}{s}^2{X}^2+\frac{1}{3!}{s}^3{X}^3+\cdots )=\sum _{i=0}^{\infty }\frac{1}{i!}{s}^{i}E(X^i)$$

引理1. 令$X_1,\cdots ,X_n$为独立随机向量, $X={\sum }_{i=1}^n{X}_i$, 则
M X ( s ) = ∏ i = 1 n M X i ( s ) . M_X(s) = \prod_{i=1}^nM_{X_i}(s). MX​(s)=i=1∏n​MX