Sub-Gaussian随机变量

引言

Sub-Gaussian的分布跟标准高斯分布$\mathcal{N}(0,1)$的性质密切相关，因此在介绍Sub-Gaussian随机变量之前，先简述一下$\mathcal{N}(0,1)$的三个性质，

性质1：随机变量$X\sim \mathcal{N}(0,1)$，在$(t,\infty ),t\ge 1$的拖尾呈指数形式下降

P { ∣ X ∣ > t } = 2 2 π ∫ t ∞ e − x 2 2 d x ≤ 2 e − t 2 2 (1) \mathbb P\{ |X| > t \} = \frac{2}{\sqrt {2 \pi}} \int_{t}^{\infty} e^{- \frac{x^2}{2}}dx \leq2e^{- \frac {t^2}{2}} \tag{1} P{∣X∣>t}=2π ​2​∫t∞​e−2x2​dx≤2e−2t2​(1)

性质2：随机变量$X\sim \mathcal{N}(0,1)$，$X$的绝对任意$p(p\ge 1)$阶矩为

$$(\mathbb{E}{|X|}^p{)}^{\frac{1}{p}}=\sqrt{2}{\left(\frac{\Gamma (\frac{1+p}{2})}{\Gamma (\frac{1}{2})}\right)}^{\frac{1}{p}}=O(\sqrt{p}),p\ge 1\text{\hspace{1em}(2)}$$

性质3：随机变量$X\sim \mathcal{N}(0,1)$，其矩母函数

$$\mathbb{E}exp(tX)=e^{\frac{t^2}{2}},t\in \mathbb{R}\text{\hspace{1em}(3)}$$

对于$X\sim \mathcal{N}(0,1)$，上面三个性质其实是等价的。而Sub-Gaussian的定义与性质1-3是紧密相连的，那些满足性质1-3的随机变量，我们就将其成为是Sub-Gaussian随机变量，下面将做更具体的描述。

Sub-Gaussian等价的几个性质

这里给出的性质1，2，4和引言部分所述的性质1-3是对应起来的，分别对应拖尾、任意阶矩和矩母函数。下面将对这四个性质的等价性做证明。

（1）根据1，证明2

（2）根据2，证明3

（3）根据3，证明1
该部分证明需要用到Markov不等式，如下

Markov不等式
若随机变量$X$只取非负值，则对$\forall a>0$，

$$\mathbb{P}(X\ge a)\le \frac{\mathbb{E}[X]}{a}$$

证明：令$Y_a=a\cdot \mathbb{I}(X\ge a)$，显然有$\mathbb{E}[Y_a]\le \mathbb{E}[X]$，又

$$\mathbb{E}[Y_a]=a\cdot \mathbb{P}(X\ge a)$$

证毕

（4）根据2，证明4

（5）根据4，证明1

Sub-Gaussian随机变量的定义

定义1：Sub-Gaussian随机变量
对于一个随机变量$X$，只要$X$满足第二部分的前三个等价性质（拖尾性、绝对任意阶矩性、超指数阶矩性），那么就称$X$为Sub-Gaussian随机变量。并且指定${\Vert X\Vert }_{{\psi }_2}$为$X$的sub-Gaussian范数，满足

$${\Vert X\Vert }_{{\psi }_2}=\underset{p\ge 1}{\sup }{p}^{-\frac{1}{2}}(\mathbb{E}|X{|}^p{)}^{\frac{1}{p}}$$

其实${\Vert X\Vert }_{{\psi }_2}$与第二部分中性质2（绝对任意阶矩性）里的$K_2$可取的最小值是相等的。

对于任意的Sub-Gaussian随机变量$X$，一定满足

Sub-Gaussian随机变量的三个例子

（1）高斯随机变量
当均值为0时，sub-Gaussian范数满足：

$${\Vert X\Vert }_{{\psi }_2}\le C\sigma$$

（2）伯努利随机变量
当伯努利随机变量是对称时，即$\mathbb{P}(X=-1)=\mathbb{P}(X=1)=\frac{1}{2}$，sub-Gaussian范数满足：

$${\Vert X\Vert }_{{\psi }_2}=1$$

（3）有界的随机变量

$$\exists M>0,|X|\le M$$

sub-Gaussian范数满足：

$${\Vert X\Vert }_{{\psi }_2}\le M$$

更紧的可以表示为

$${\Vert X\Vert }_{{\psi }_2}\le {\Vert X\Vert }_{\infty }$$

Sub-Gaussian的近似旋转不变性

关于旋转不变性(Rotation-Invariant-Distribution)，先考虑最基本的零均值高斯随机变量$X_i$，显然${\sum }_i{X}_i$的均值为0，旋转不变性告诉我们$Var({\sum }_i{X}_i)={\sum }_{i}Var(X_i)$，那么sub-Gaussian随机变量是否有类似的性质呢？答案是有的，但是只满足近似旋转不变性，如下

Sub-Gaussian的近似旋转不变性
考虑有限个零均值的sub-Gaussian随机变量$X_i$，那么${\sum }_i{X}_i$的均值为0，并且

$${\Vert \sum _i{X}_i\Vert }_{{\psi }_2}^2\le C\cdot \sum _i{\Vert X_i\Vert }_{{\psi }_2}^2$$

其中$C$是常数。证明过程如下

总结

标准的高斯随机变量一定满足引言部分的性质1-3（对应着拖尾、任意阶矩和矩母函数），而sub-Gaussian随机变量就是由这三个性质延伸的，并且又更一般地在第二部分（Sub-Gaussian等价的几个性质）重述了sub-Gaussian满足的几个性质，这些性质是等价的，sub-Gaussian会比Gaussian的范围要广一些，因为Gaussian一定满足这些性质，但是满足这些性质的随机变量不一定是Gaussian，比如伯努利随机变量和有界的随机变量，他们都是sub-Gaussian随机变量。