Hoeffding证明

Hoeffdinng 不等式证明

---

不等式的证明摘录自维基百科，其中加入自己不理解部分的证明。

Hoeffding不等式内容：

  设$S_n=\sum_{i=1}^nX_i$是独立随机变量$X_1,X_2,...,X_n$之和，$X_i\in\left[a_i,b_i\right]$，则对任意$t>0$，以下不等式成立：

$$P\left(S_n-ES_n\ge t\right)\le exp\left(\frac{-2t^2}{\sum_{i=1}^n\left(b_i-a_i\right)^2}\right)$$ $$P\left(ES_n-S_n\ge t\right)\le exp\left(\frac{-2t^2}{\sum_{i=1}^n\left(b_i-a_i\right)^2}\right)$$

证明：

Step One:

• 引入马尔科夫（Markov）不等式：
  $$P\left(X\ge \varepsilon\right)\le\frac{EX}{\varepsilon}\quad\quad\quad \varepsilon>0$$
• 马尔科夫不等式证明：
  $$\begin{align}P\left(X\ge\varepsilon\right)&=\int_{X\ge \varepsilon}p\left(x\right)dx\\ & \le\int_{X\ge \varepsilon}\frac{x}{\varepsilon}p\left(x\right)dx\\ & =\frac{1}{\varepsilon}\int_{X\ge \varepsilon}xp\left(x\right)dx\\ & \le\frac{1}{\varepsilon}\int_{-\infty}^{+\infty}xp\left(x\right)dx\\ & =\frac{EX}{\varepsilon}\end{align}$$

Step Two:

• 引入Hoeffding引理(Hoeffding’s Lemma):
    对于随机变量$X$，满足条件$a\le X\le b$且$EX=0$，则对于$\forall \lambda\in R$：