Johnson–Lindenstrauss Lemma

Johnson–Lindenstrauss引理

引理：给定$ϵ>0$，$随机向量模长$随n以指数收敛到1。
$$\begin{gathered} 随机向量x\in R^n中的每个坐标采样自N(0,\frac{1}{n}) \\ P(|\Vert x{\Vert }^2-1|\ge \epsilon )\le 2\exp \left(-\frac{{\epsilon }^{2}n}{8}\right) \end{gathered}$$
引理：$同样采样$两个随机向量，近似正交。
$$P(|⟨x_1,x_2⟩|\ge \epsilon )\le 4\exp \left(-\frac{{\epsilon }^{2}n}{8}\right)$$

Johnson–Lindenstrauss Lemma

给定$ϵ>0$,$x_i\in R^m(i=1,\dots ,N),如上采样出一个随机矩阵A\in {\mathbb{R}}^{n\times m},n>\frac{24\log N}{{\epsilon }^2}$

$$(1-\epsilon )\Vert v_i-v_j{\Vert }^2\le \Vert A{v}_i-A{v}_j{\Vert }^2\le (1+\epsilon )\Vert v_i-v_j{\Vert }^2$$

应用

余弦定理

        计算两个句子的相似程度，可先用 TF-IDF 算法来生成词频向量，然后计算余弦夹角，越小则越相似。

哈希函数

        哈希函数（MD5 等）将文章转成定长字符串，比如 32 位。在前端的加密中我实现过对“123456”的加密。

simhash

        传统哈希函数无法进行两篇文章的相似度比较。simhash 技术，它是 Google 为了解决大规模的网页去重而发明的算法。使用0,1表示最终的计算结果，异或运算进行比较。

        Johnson–Lindenstrauss 引理+离散化：欧式空间中的N个点，经过相同的随机投影映射后，它们仍然会保持原来的相对位置。然后对随机投影的结果进行离散化（小于90°为1，大于90°为0¹ 相似为1，否则为0），方便计算与存储。

         在以上的基础上，simhash进行了文章分词，对每个词hash，对hash结果加权，将词向量合并(依次相加操作)，降维等处理得到最终结果。这里有对simhash算法的讲解，但好像计算的操作不同。

²:$或-1，使用-1就可不将所有向量集中在一个象限。$

reference

参考
参考
参考

高维随机
机器学习的理论进展到了什么程度？
Du, S. S., Kakade, S. M., Wang, R., & Yang, L. F. (2019). Is a Good Representation Sufficient for Sample Efficient Reinforcement Learning?
Database-friendly random projections:
Johnson-Lindenstrauss with binary coins
attention中的应用
DGBR算法
IJCAI’21 Secure Deep Graph Generation with Link Differential Privacy

$$\begin{gathered} 马尔可夫不等式:P(x\ge a)\le \frac{\mathbb{E}[x]}{a} \\ 切比雪夫不等式:P((x-\mathbb{E}[x]{)}^2\ge a^2)\le \frac{\mathbb{E}[(x-\mathbb{E}[x]{)}^2]}{a^2}=\frac{\mathbb{V}ar[x]}{a^2} \end{gathered}$$
伯恩斯坦不等式

---

1. 1 ↩︎

2. 1 ↩︎