UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式

我们在第一讲时讨论了Hoeffding不等式，但那个版本时针对有界的随机变量的，我们希望通过亚高斯性推广Hoeffding不等式。

结论 独立亚高斯分布的和的亚高斯范数：假设 { X i } i = 1 N \{X_i\}_{i=1}^N { Xi​}i=1N​是一列零均值独立亚高斯随机变量，则${\sum }_{i=1}^N{X}_i$也是亚高斯随机变量，并且存在与$N$无关的常数$C$使得
$${\Vert \sum _{i=1}^N{X}_i\Vert }_{{\psi }_2}^2\le C\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_2}^2$$

证明 要说明一个随机变量是亚高斯的，只需要验证它满足亚高斯性即可，计算
$$E{e}^{\lambda {\sum }_{i=1}^N{X}_i}=\prod _{i=1}^{N}E{e}^{\lambda X_i}$$

因为$X_i$是亚高斯的，于是
$$E{e}^{\lambda X_i}\le e^{(c_1{\Vert X_i\Vert }_{{\psi }_2}{)}^2{\lambda }^2}$$

其中$K_5=c_1{K}_4=c_1{\Vert X_i\Vert }_{{\psi }_2}$，因此
E e λ ∑ i = 1