UA MATH567 高维统计II 随机向量1 随机向量的范数

这是高维统计理论的第二部分，这一部分的任务是把第一部分介绍的分析一元随机变量的concentration与尾部概率的方法推广到随机向量。推广的思路是将随机向量这种高维的结构化归为一维的结构进行研究，比较容易想到的是随机向量的范数、随机向量在某个向量上的投影以及上一部分末尾提到的Lipschitz组合等，这些量都是一维的随机变量，我们可以通过研究这类随机变量的性质，进而去理解随机向量的concentration与尾部概率行为。这一讲我们先研究随机向量的范数：

假设$X=(X_1,\cdots ,X_n)$，$X_i$是独立、零均值、方差为1的随机变量（我们假设这一讲讨论的所有随机变量都是如此），则
$$E{\Vert X\Vert }_2^2=E\sum _{i=1}^n{X}_i^2=n$$

这说明${\Vert X\Vert }_2$的concentration是$\sqrt{n}$，我们想知道的是how concentrated ${\Vert X\Vert }_2$ is around $\sqrt{n}$?

L2-Norm的Concentration 假设$X$是每个分量都是独立亚高斯的$n$维随机变量，假设它的每个分量二阶矩均为1，$K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_2}$，则$\exists C>0$
$${\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_{{\psi }_2}\le C{K}^2$$

评述 这是一个non-asymptotic result，对亚高斯范数不太了解的读者可能会不明觉厉，所以我们可以结合亚高斯性和亚高斯范数简单理解一下。首先这个不等式说明${\Vert X\Vert }_2-\sqrt{n}$的亚高斯范数有界，也就是${\Vert X\Vert }_2-\sqrt{n}$是亚高斯随机变量，于是它的tail probability满足
$$\begin{gathered} P(|{\Vert X\Vert }_2-\sqrt{n}|\ge t)\le 2\exp (-c{t}^2/{\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_{{\psi }_2}^2) \\ \le 2\exp (-\frac{c{t}^2}{C^2{K}^4}),\forall t>0 \end{gathered}$$

也就是tail probability的阶被控制为$e^{-t^2}$。

说明 我们可以直观理解一下这个不等式，${\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_{{\psi }_2}$可以理解为${\Vert X\Vert }_2$与$\sqrt{n}$的距离，这个不等式说明它们之间的距离是有界的。事实上对于这里的亚高斯分布，
$$E\sum _{i=1}^n{X}_i^2=n,Var\sum _{i=1}^n{X}_i^2=O(n)$$

类比正态分布的性质，从直觉上讲${\sum }_{i=1}^n{X}_i^2$的概率集中在$[\mu -\sigma ,\mu +\sigma ]$上，也就是$[n-O(\sqrt{n}),n+O(\sqrt{n})]$上，因此$({\sum }_{i=1}^n{X}_i^2{)}^{1/2}$的概率集中在$[\sqrt{n-O(\sqrt{n})},\sqrt{n+O(\sqrt{n})}]$上，因为（证明见末尾）