霍夫丁不等式（Hoeffding's inequality）

1.简述

  在概率论中，霍夫丁不等式给出了随机变量的和与其期望值偏差的概率上限，该不等式被Wassily Hoeffding于1963年提出并证明。霍夫丁不等式是Azuma-Hoeffding不等式的特例，它比Sergei Bernstein于1923年证明的Bernstein不等式更具一般性。这几个不等式都是McDiarmid不等式的特例。

2.霍夫丁不等式

2.1.伯努利随机变量特例

  掷硬币，假设正面朝上概率为$p$，反面朝上概率为$1-p$，投掷$n$次，则正面朝上次数的期望值为$np$。更进一步，有以下不等式：

$$P(H(n) \le k)=\sum_{i=0}^k \binom{n}{i} p^i (1-p)^{n-i}$$
其中， $H(n)$是 $n$次投掷中，正面朝上的次数。
  对某一$\varepsilon>0$，有 $k=(p-\varepsilon)n$，上述不等式确定的霍夫丁上界将会按照指数级变化：
$$P(H(n) \le (p-\varepsilon)n) \le exp(-2 \varepsilon^2n) \quad (2.1.1)$$
类似地，可以得到：
$$P(H(n) \ge (p+\varepsilon)n) \le exp(-2 \varepsilon^2n) \quad (2.1.2)$$
综合(2.1.1)(2.1.2)，可得：
$$P((p-\varepsilon)n\le H(n) \le (p+\varepsilon)n) \ge 1-2exp(-2 \varepsilon^2n) \quad (2.1.3)$$
令 $\varepsilon=\sqrt{\ln{n}/n}$，代入(2.1.3)，有：
$$P(|H(n)-pn|\le \sqrt{\ln{n}/n})\ge 1-2exp(-2\ln n)=1-2/n^2 \quad (2.1.4)$$
(2.1.4)即为霍夫丁不等式的伯努利随机变量特例。

2.2.一般形式

  令$X_1，\dots，X_n$为独立的随机变量，且$X_i\in[a,b]$，$i=1，\dots，n$。这些随机变量的经验均值可表示为：

$$\bar{X}=\frac{X_1+\dots+X_n}{n}$$
  霍夫丁不等式叙述如下：
$$\forall{t>0}，\quad P(\bar{X}-E[\bar{X}]\ge t)\le exp(-\frac{2n^2t^2}{\begin{matrix} \sum_{i=1}^n (b_i-a_i)^2 \end{matrix}}) \quad(2.2.1)$$
令 $\bar{X}=-\bar{X}$，代入上述不等式，可得：
$$\forall{t>0}，\quad P(E[\bar{X}]-\bar{X}\ge t)\le exp(-\frac{2n^2t^2}{\begin{matrix} \sum_{i=1}^n (b_i-a_i)^2 \end{matrix}}) \quad (2.2.2)$$
综合(2.2.1)(2.2.2)，可得霍夫丁不等式的另一种形式：
$$\forall{t>0}，\quad P(|\bar{X}-E[\bar{X}]|\ge t)\le 2exp(-\frac{2n^2t^2}{\begin{matrix} \sum_{i=1}^n (b_i-a_i)^2 \end{matrix}}) \quad (2.2.3)$$
  若令 $S_n=X_1+\dots+X_n$，霍夫丁不等式可叙述为：
$$\forall{t>0}，\quad P(S_n-E[S_n]\ge t)\le exp(-\frac{2t^2}{\begin{matrix} \sum_{i=1}^n (b_i-a_i)^2 \end{matrix}}) \quad (2.2.4)$$
$$\forall{t>0}，\quad P(E[S_n]-S_n\ge t)\le exp(-\frac{2t^2}{\begin{matrix} \sum_{i=1}^n (b_i-a_i)^2 \end{matrix}}) \quad (2.2.5)$$
$$\forall{t>0}，\quad P(|S_n-E[S_n]|\ge t)\le 2exp(-\frac{2t^2}{\begin{matrix} \sum_{i=1}^n (b_i-a_i)^2 \end{matrix}}) \quad (2.2.6)$$
  从(2.2.1)推导(2.2.4)，只需对不等式 $\bar{X}-E[\bar{X}]\ge t$左右两边同乘系数 $n$，再令$t=nt$即可。不难看出，当 $X_i$为伯努利随机变量时，(2.2.6)即可转化为(2.1.4)。

  需要注意的是，$X_i$若为无放回抽样时的随机变量，该等式依然成立，尽管此时这些随机变量已不再独立。相关证明可查看Hoeffding在1963年发表的论文。在无放回抽样时，若想要更好的概率边界，可查看Serfling在1974年发表的论文。

---

参考文献

[1] http://blog.csdn.net/z_x_1996/article/details/73564926
[2] https://en.wikipedia.org/wiki/Hoeffding%27s_inequality
以上为本文的全部参考文献，对原作者表示感谢。