UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式

MATH 564系列我们已经介绍了几个基本的概率不等式：Markov不等式、Chebyshev不等式、Chernoff不等式，这一类不等式有一个共同的名字，叫concentration inequalities，因为它们反映的是概率集中到分布的中心（比如均值）的程度，所以我觉得翻译成集中度不等式是还可以的，中文的wiki用的是集中不等式，我觉得含义也差不多。在概率不等式0中我们讨论了Chebyshev不等式，它在大样本时非常不sharp，所以这一讲的目标是基于Markov不等式推出更sharp一点的不等式，也就是Hoeffding不等式与Chernoff不等式。

Hoeffding不等式

假设$X_i\in [m_i,M_i],i=1,\cdots ,N$, $\forall t>0$, 下面的不等式被称为Hoeffding不等式，
$$P\left(\sum _{i=1}^N(X_i-E{X}_i)\ge t\right)\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^N(M_i-m_i{)}^2}\right)$$

完整的证明可以参考Hoeffding (1963)的文章，这里证明一个特殊情况，$X_i{\sim }_{iid}Ber(1/2)$ (对称Bernoulli分布)：
$$P\left(\sum _{i=1}^N{a}_i{X}_i\ge t\right)\le \exp (-2{\sum }_{i=1}^N{a}_{}$$