UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理

John-Lindenstrauss引理

这一讲我们介绍一个Lipschitz函数法处理随机向量的技术的应用。假设在一个机器学习问题中，我们有$N$个样本，每个样本有$n$个feature，但是$n$非常大，直接用这么多feature训练模型不但浪费算力而且影响模型精度，所以我们想做一个投影$P$，把这组$n$维的feature投影到一个$m$维的子空间，我们希望投影前后任意两个样本点的差别不会被放大或者缩小，用数学来描述就是假设$x,y$这两个$n$维向量分别表示一个样本，则给定一个很小的正数$ϵ$，使得
$$(1-ϵ){\Vert x-y\Vert }_2\le {\Vert Px-Py\Vert }_2\le (1+ϵ){\Vert x-y\Vert }_2$$

其中$Px,Py\in {\mathbb{R}}^m$，站在理论机器学习研究者的角度，我们比较关心的一个问题是最小能把feature的维数压缩到多少？J-L引理认为基于Haar测度的随机投影下最小的维数是$O(\ln N)$。

---

John-Lindenstrauss引理
用$\mathcal{X}$表示$N$个样本，$\mathcal{X}\subset {\mathbb{R}}^n$，$\forall ϵ>0$，$\exists C>0$, $\forall m\ge (C/{ϵ}^2)\log N$，如果$E\sim Unif(G_{n,m})$，存在random projection
$$Q=\sqrt{\frac{n}{m}}{P}_E$$

使得下面的事件概率不小于$1-2e^{-c{ϵ}^{2}m}$：
$$(1-ϵ){\Vert x-y\Vert }_2\le \Vert Qx-$$