UA MATH567 高维统计I 概率不等式4 亚高斯分布

上一讲我们介绍了Hoeffding不等式与Chernoff不等式，这两个不等式的共性是它们的上界关于$t$的递减阶数都是$e^{-c{t}^2}$，它们具有非常好的性质，这一讲我们试图将这种尾部概率性质的分布抽象化，并推导出一些更普遍的结果，我们称这些结果为亚高斯性 (sub-Gaussian property)，$K_1,\cdots ,K_5$指的是一些常数。

1. 尾部概率条件：$P(|X|\ge t)\le 2\exp (-t^2/K_1^2),\forall t\ge 0$
2. 矩条件: ${\Vert X\Vert }_{L^p}\le K_2\sqrt{p},\forall p\ge 1$
3. 矩母函数条件: $E{e}^{{\lambda }^2{X}^2}\le \exp (K_3^2{\lambda }^2),\forall |\lambda |\le 1/K_3$
4. 矩母函数上界: $E{e}^{X^2/K_4^2}\le 2$
5. 矩母函数又一个条件: $E{e}^{\lambda X}\le \exp (K_5^2{\lambda }^2),\forall \lambda \in \mathbb{R},EX=0$

并且称满足这五个等价条件中任一条的分布为亚高斯分布 (sub-Gaussian distribution)。下面我们来简单证明一下它们的等价性。另外就是第一个和第四个中的2并不一定是非得是2，是任何一个大于1的常数就可以。

---

1推2
假设性质1成立，取$K_1=1$（即使$K_1=\ne 1$，我们也可以考虑对$X/K_1$进行分析），因为期望等于生存函数的积分，于是
$$E|X{|}^p={\int }_0^{\infty }P(|X{|}^p\ge u)du={\int }_0^{\infty }P(|X{|}^p\ge t^p)p{t}^{p-1}dt$$

第二个等号是用的积分换元，$u=t^p$，根据性质1，
$$P(|X{|}^p\ge t^p)=P(|X|\ge t)\le 2\exp (-t^2),\forall t\ge 0$$

于是
$${\int }_0^{\infty }P(|X{|}^p\ge t^p)p{t}^{p-1}dt\le {\int }_0^{\infty }2e^{-t^2}p{t}^{p-1}dt$$

右边这个积分可以通过凑Gamma函数积出来，
$${\int }_0^{\infty }2e^{-t^2}p{t}^{p-1}dt=p\int (t^2{)}^{\frac{p}{2}-1}{e}^{-t^2}d{t}^2=p\Gamma (p/2)$$

根据Gamma函数的上界，当$x\ge 1/2$时，$\Gamma (x)\le 3x^x$，
$$\Gamma (p/2)\le 3p(p/2{)}^{p/2}$$

因此
∥ X ∥ L p = ( E ∣ X ∣ p ) 1 / p ≤ ( 3 p ) 1 / p