Azuma不等式和Hoeffding不等式

Hoeffding不等式证明见Hoeffding不等式证
鞅的定义：
一个随机过程 { Z n , n ≥ 1 } \{Z_n,n\ge 1\} { Zn​,n≥1},若对一切$n$有
$$\mathbb{E}[|Z_n|]<\infty$$
且
$$\mathbb{E}[Z_{n+1}|Z_1,\cdots ,Z_n]=Z_n$$
鞅是公平博弈的广义版本。若我们将$Z_n$解释为一个赌徒经过$n$轮公平博弈后得到的财产为$Z_n$，则下一次赌博得到的财产$Z_{n+1}$期望等于$Z_n$而不管前面发生了什么

例子：$X_i$是均值为0的独立同分布变量,$S_n={\sum }_{i=1}^n{X}_i$为一个鞅
在介绍Azuma不等式前，先介绍一个引理

引理1：随机变量$X$有$\mathbb{E}[X]=0$且 P { − α ≤ X ≤ β } = 1 P\{-\alpha \le X \le \beta\} = 1 P{ −α≤X≤β}=1则对任意凸函数有
$$\mathbb{E}[f(X)]\le \frac{\beta }{\alpha +\beta }f(-\alpha )+\frac{\alpha }{\alpha +\beta }f(\beta )$$
证明：由凸函数的定义,$\forall \gamma \in [0,1]$,$x,y$为定义域中的点,有
$$f(\gamma x+(1-\gamma )y)\le \gamma f(x)+(1-\gamma )f(y)$$
即可得到

引理2 对$0\le \theta \le 1$有
$$\theta e^{(1-\theta )x}+(1-\theta )e^{-\theta x}\le e^{x^2/8}$$
证明：令$\theta =(1+\alpha )/2,x=2\beta$，则相当于证明对$-1\le \alpha \le 1$有
$$(1+\alpha )e^{\beta (1-\alpha )}+(1-\alpha )e^{-\beta (1+\alpha )}\le 2e^{{\beta }^2/2}$$
等价于
e β + e − β + α ( e β − e − β ) ≤ 2 exp ⁡ { α β + β 2 / 2 } e^\beta + e^{-\beta} + \alpha(e^\beta - e^{-\beta}) \le 2 \exp\{\alpha\beta + \beta^2 /2\} eβ+e−β+α(eβ−e−β)≤2exp{ αβ+β2/2}
当$\alpha =\pm 1$或者$\beta$足够大，比如$\beta \ge 100$时，不等式显然成立
所以如果不等式不成立，则函数
$$f(\alpha ,\beta )=e^{\beta }+e^{-\beta }+\alpha (e^{\beta }$$