理解Markov, Chebyshev, Chernoff概率不等式

Markov inequality

若Y是非负随机变量，对于所有$y>0$,都有

P r { Y ≥ y } ≤ E ⁡ [ Y ] y \mathrm{Pr}\{Y\geq y\} \leq \frac{\operatorname{E}[ Y]}{y} Pr{Y≥y}≤yE[Y]​

如上图， y P r { Y ≥ y } \displaystyle y\mathrm{Pr}\{Y\geq y\} yPr{Y≥y}是阴影部分的面积，而整个曲线下的面积是均值，所以，显然 y P r { Y ≥ y } ⩽ E [ Y ] \displaystyle y\mathrm{Pr}\{Y\geq y\} \leqslant E[ Y] yPr{Y≥y}⩽E[Y]。

事实上，这个曲线下面积是均值只有在Y是非负随机变量才能成立，我们可以来验证一下：

P r { Y ≥ y } = 1 − F ( y ) \mathrm{Pr}\{Y\geq y\} =1-F( y) Pr{Y≥y}=1−F(y)

其中$F(y):=P(Y⩽y)$是Y的累计分布函数，满足$F(+\infty )=1$，于是

∫ 0 + ∞ P r { Y ≥ y } d y = ∫ 0 + ∞ ( 1 − F ( y ) ) d y = y ( 1 − F ( y ) ) ∣ 0 + ∞ + ∫ 0 + ∞ y f ( y ) d y = E [ y ] \int ^{+\infty }_{0}\mathrm{Pr}\{Y\geq y\} dy=\int ^{+\infty }_{0}( 1-F( y)) dy=y( 1-F( y)) |^{+\infty }_{0} +\int ^{+\infty }_{0} yf( y) dy=E[ y] ∫0+∞​Pr{Y≥y}dy=∫0+∞​(1−F(y))dy=y(1−F(y))∣0+∞​+∫0+∞​yf(y)dy=E[y]

显然，y不是非负的时候，积分可以取到$-\infty$，这时候$y(1-F(y))$就会发散，不再等于0了。

Chebyshev inequality

既然Markov inequality只能用于非负变量，那对于那些可以取负值的随机变量咋办？其实我们可以对随机变量取平方或者绝对值让他变成非负的，最典型的做法是，令$Y=(Z-E[Z]{)}^2$，这时候Y就是一个非负随机变量了，于是

$$\mathrm{P}\mathrm{r}\left\{(Z-E[Z]{)}^2\ge y\right\}\le \frac{E\left[(Z-E[Z]{)}^2\right]}{y}=\frac{{\sigma }_z^2}{y}$$

我们将$y$换成${ϵ}^2$，于是$(Z-E[Z]{)}^2\ge {ϵ}^2⟹|Z-E[Z]|⩾ϵ$，于是

P r { ∣ Z − E [ Z ] ∣ ≥ ϵ } ≤ σ z 2 ϵ 2 \mathrm{Pr}\{|Z-E[ Z] |\geq \epsilon \} \leq \frac{\sigma ^{2}_{z}}{\epsilon ^{2}} Pr{∣Z−E[Z]∣≥ϵ}≤ϵ2σz2​​

这就是Chebyshev inequality. 而且当$Z=(X_1+...+X_n)/n$表示样本均值的时候，该不等式可以被用来证明weak law of large numbers.

Chernoff bounds

显然，除了平方和绝对值之外，指数函数也是一个非负函数，所以当$Y=e^{Zr}$时，

$$\mathrm{P}\mathrm{r}\left\{e^{Zr}\ge y\right\}\le \frac{E\left[e^{Zr}\right]}{y}$$

如果我们用$e^{rb}$来代替$y$会更有意义。注意到，当$e^{Zr}⩾e^{rb}$时。若$r>0$则等价于$Z⩾b$，否则$Z<b$. 因此，对于任意的实数b，我们有

P r { Z ≥ b } ≤ E ⁡ [ e Z r ] e r b r > 0 P r { Z ≤ b } ≤ E ⁡ [ e Z r ] e r b r < 0 \begin{array}{ c c c } \mathrm{Pr}\{Z\geq b\} \leq \frac{\operatorname{E}\left[ e^{Zr}\right]}{e^{rb}} & & r >0\\ \mathrm{Pr}\{Z\leq b\} \leq \frac{\operatorname{E}\left[ e^{Zr}\right]}{e^{rb}} & & r< 0 \end{array} Pr{Z≥b}≤erbE[eZr]​Pr{Z≤b}≤erbE[eZr]​​​r>0r<0​

它的最重要应用是当Z是$S_n=X_1+...+X_n$独立同分布样本的求和的时候，我们有

P r { S n ≥ n a } ≤ E ⁡ [ e S n r ] e r n a = E ⁡ [ e X r ] n e r n a r > 0 P r { S n ≤ n a } ≤ E ⁡ [ e S n r ] e r n a = E ⁡ [ e X r ] n e r n a r < 0 \begin{array}{ c c c } \mathrm{Pr}\{S_{n} \geq na\} \leq \frac{\operatorname{E}\left[ e^{S_{n} r}\right]}{e^{rna}} =\frac{\operatorname{E}\left[ e^{Xr}\right]^{n}}{e^{rna}} & & r >0\\ \mathrm{Pr}\{S_{n} \leq na\} \leq \frac{\operatorname{E}\left[ e^{S_{n} r}\right]}{e^{rna}} =\frac{\operatorname{E}\left[ e^{Xr}\right]^{n}}{e^{rna}} & & r< 0 \end{array} Pr{Sn​≥na}≤ernaE[eSn​r]​=ernaE[eXr]n​Pr{Sn​≤na}≤ernaE[eSn​r]​=ernaE[eXr]n​​​r>0r<0​

你会发现，在这个bound中，r的取值是任意的，我们可以去搜索所有的r可能的取值来找到一个最紧的bound，而显然r的最优取值是跟a有关的，那么这个最优值是多少呢？注意到$g_X(r):=E\left[e^{Xr}\right]$其实是一个moment generating function(MGF)，即，$g_X^{\prime }(r)=E[X],g_X^{\prime \prime }(r)=E\left[X^2\right]$，进一步令${\gamma }_X(r):=\ln g_X(r)$，于是

P r { S n ≥ n a } ≤ e n γ X ( r ) − r n a r > 0 P r { S n ≤ n a } ≤ e n γ X ( r ) − r n a r < 0 \begin{array}{ c c c } \mathrm{Pr}\{S_{n} \geq na\} \leq e^{n\gamma _{X}( r) -rna} & & r >0\\ \mathrm{Pr}\{S_{n} \leq na\} \leq e^{n\gamma _{X}( r) -rna} & & r< 0 \end{array} Pr{Sn​≥na}≤enγX​(r)−rnaPr{Sn​≤na}≤enγX​(r)−rna​​r>0r<0​

于是，最紧的bound应该就是$n{\gamma }_X(r)-rna$所能取得的最小值。这个取了log之后的MGF又称为cumulant-generating function，它跟MGF的不同在于，它$r=0$处的一阶跟二阶cumulant分别对应的是均值和方差。可以证明${\gamma }^{\prime \prime }$是大于0的，是凸函数，可以用方差总是大于0来直观理解。

那么如果${\gamma }_X(r)$是一个凸函数，整个函数也是凸的，最小值将在极值点上，且关于r的导数为0。那么关于${\gamma }_X(r)$长什么样呢？如下图

于是最紧的bound是

$$\frac{d(n{\gamma }_X(r)-rna)}{dr}=n{\gamma }_X^{\prime }(r)-na=0$$

这个方程的解，即${\gamma }_X^{\prime }(r)=a$，于是，我们只要找到个合适的r，其对应位置的斜率为a就是最优的r值了：

参考资料

Gallager, Robert G. “Discrete stochastic processes.” OpenCourseWare: Massachusetts Institute of Technology (2011).

https://www.probabilitycourse.com/chapter6/6_1_3_moment_functions.php