Johnson-Lindenstrauss引理（JL引理）--降维

最新推荐文章于 2023-06-03 15:10:04 发布
最新推荐文章于 2023-06-03 15:10:04 发布
阅读量1k 收藏
点赞数 2
文章标签： 线性代数 机器学习 矩阵
原文链接：https://kexue.fm/archives/8706
版权

通俗版JL引理： 塞下N个向量，只需要O(logN)维空间。

“随机投影”降维思路：给定N个向量v1,v2,⋯,vN∈Rm，如果想要将它降到n维，那么只需要从N(0,1/n)中采样一个n×m矩阵A，然后Av1,Av2,⋯,AvN就是降维后的结果。

参考：苏剑林. (Sep. 24, 2021). 《让人惊叹的Johnson-Lindenstrauss引理：应用篇 》[Blog post]. Retrieved from https://kexue.fm/archives/8706

AI强仔
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【机器学习】必会降维算法之：随机投影（Random Projection）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
06-21 1733
必会降维算法之：Random Projection
Johnsen-lindenstrauss定理(J-L定理)
CHIERYU的专栏
03-23 5726
前言J-L定理是我在阅读关于汉明嵌入的文章时遇到最多的一次概念，其主要是说“一个dd维空间中的nn个点可以近似等距地嵌入到一个k≈O(logn)k \approx O(logn)维的空间”，所谓等距意思简单地理解就是保持任何两个点之间的相对远近关系。该定理是1984年发现的，在压缩感知、流行学习和降维上被应用。ps:应该是个很牛逼的定理。J-L定理表述对任意常数 0<ε<10 < ε < 1 和任
让人惊叹的Johnson-Lindenstrauss引理：理论篇
Paper weekly
10-02 1168
©PaperWeekly 原创 ·作者 |苏剑林单位|追一科技研究方向|NLP、神经网络今天我们来学习 Johnson-Lindenstrauss 引理，由于名字比较长，下面都...
​让人惊叹的Johnson-Lindenstrauss引理：应用篇
Paper weekly
10-16 338
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络上一篇文章中，我们比较详细地介绍了 Johnson-Lindenstrauss 引理（J...
Johnson–Lindenstrauss 定理-Johnson–Lindenstrauss lemma
MrCharles在CSDN
04-23 3918
Johnson–Lindenstrauss 定理是这样的：一个一百万维空间里的随便一万个点，一定可以几乎被装进一个几十维的子空间里！严格说来是这样：在 M 维空间中的 N 个点，几乎总是被包含在一个 D 维子空间里的。这里的 D 按照直觉应当等于 N 的阶，可是实际上我们只需要让 D 是 log(N) 的阶就可以了。这里「几乎被包含在」的确切含义是它在这个子空间上的投影几乎是等距的（允许有一个 ε...
通过Johnson-Lindenstrauss变换的差分私人POI查询
03-14
通过Johnson-Lindenstrauss变换的差分私人POI查询
Johnson-Lindenstrauss Theorem - EtoneWiki_files
10-07
约翰逊-林德斯壮定理（Johnson-Lindenstrauss Theorem）是数学，特别是高维几何和计算理论中的一个重要结果。这个定理提供了一种将高维数据映射到低维空间的方法，同时保持数据点之间的相对距离的近似不变性。在大...
DFT的matlab源代码-fast-jlt:快速Johnson-Lindenstrauss变换（FJLT）
05-26
DFT的matlab源代码快速Johnson-Lindenstrauss变换（FJLT） 快速JLT的Cython和python实现。 使用FFTW。 依存关系 FFTW，一种快速的DFT库，可从处获得。 赛顿 安装 python setup.py install 用法 在python中，使用...
Non-local denoising in encrypted images
02-09
尽管在本论文中Johnson-Lindenstrauss变换可能不是主要讨论焦点，但它作为一种重要的数学工具，可能在相关研究中被应用来优化数据处理效率。 7. 实验结果对比：论文中的实验结果展示了所提方法在加密域中去噪图像...
NLP 学习记录
weixin_45683677的博客
08-03 601
系列文章目录 文章目录系列文章目录前言weight_decaywarm up 前言 最近在做一些NLP可解释性的研究，也算是正经的NLP入门项目了，有很多新的知识点在本文中记录一下。 weight_decay 损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大 对于bias或者LayerNorm.
Johnson–Lindenstrauss Lemma
ResumeProject的博客
02-14 576
吻数-维基百科链接 刚才有人问到“吻数”（Kissing Number），一个单位球同时最多能与多少个单位球接触？写了个简明回答，顺便转过来。答案是12。有趣的是不同维数的吻数。 1,2,3,4维，吻数分别为2,6,12,24。大于４维 时，没有定论。 但维数等于24时，反倒有准确答案，吻数为196560。 这是因为24维时有很多对称群好用。 ​​​ 统计学习中的covering number和packing number是什么意思？ packing number 伯恩斯坦不等式 ...
随机映射投影
qq_28586501的博客
11-26 1138
这里我们首先探讨了PCA，然后是随机投影映射 PCA通过矩阵运算实现数据， 1、根据数据计算协方差矩阵 X*S 2、据数据的协方差矩阵提供的贡献率选择其包含成分 X*S` 3、根据矩阵运算转换原始数据 PCA降维是可行有效的，但对于超大型数据计算其协方差矩阵耗时较长，无法做到高效性 而随机投影则没有协方差计算的过程 1、首先，在高维空间里随机选几个单位向量（无需保证单位向量之间正交）依据(Johnson-Lindenstrauss Lemma, JL-lemma) 理论（这里理论保..
UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理
一个不愿透露姓名的博客
01-05 311
UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理 这一讲我们介绍一个Lipschitz函数法处理随机向量的技术的应用。假设在一个机器学习问题中，我们有NNN个样本，每个样本有nnn个feature，但是nnn非常大，直接用这么多feature训练模型不但浪费算力而且影响模型精度，所以我们想做一个随机投影PPP，把这组nnn维的feature投影到一个mmm维的子空间，我们希望投影前后任意两个样本点的差别不会被放大或者缩小，用数学来描述就是假设x
Docker 学习3 构建镜像
weixin_33801856的博客
11-27 90
2019独角兽企业重金招聘Python工程师标准>>> ...
【随机算法】Johnson-Lindenstrauss Theorem 详细解读
BE A CREATOR
10-07 8024
前言       jiang
1-9 随机算法【手写+Xmind笔记】
最新发布
hanhan的博客
06-03 906
上面求出了至少一项的概率，与之相反，在。内积版证明：形同正交性引理的证明。的组合都成立，我们求至少有一项。的条件，任意两项偏移不超过。（数学不好真是太悲惨了）是一个给定的单位向量，独立且为正态分布，所以。的每个分量独立服从于。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值