【随机算法】Johnson-Lindenstrauss Theorem 详细解读

最新推荐文章于 2024-08-14 17:31:38 发布
最新推荐文章于 2024-08-14 17:31:38 发布
阅读量8k 收藏 10
点赞数 1
分类专栏： 【算法设计】 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luoyun614/article/details/39853259
版权
本文深入探讨了Johnson-Lindenstrauss定理，该定理在高维数据降维中发挥关键作用。通过随机投影方法，可以将高维空间中的点有效地映射到低维空间，同时保持距离的相对关系。这一理论对于图像处理和视频处理等领域的数据降维具有重要意义。
摘要由CSDN通过智能技术生成

前言

       最近经常接触降维, 主要是做图像处理和视频处理的维度实在是比较多, 降维这个可真是真正的技术活儿, 而且在不同情况下降维的选择至关重要, 可以说会影响到最终的结果,今天主要是详细讲解一下其中一种当今的降维准则. 


Johnson-Lindenstrauss Theorem的问题定义

       首先, JL要解决的问题非常简单(只是陈述比较简单而已), 在一个高维的欧式空间(距离用欧式距离表示) \mathbf{R}^d. 我们想要把这些点移动到一个低维的空间\mathbf{R}^k, 当时要保证空间转换后,没两两个点之间的距离几乎不变.
       正规点说就是, 找到一个映射关系:f:\mathbf{R}^d\rightarrow\mathbf{R}^k,里面任意两个点u,v,使得\|f(u)-f(v)\|和\|u-v\|只有一点点的不同,其中
最低0.47元/天 解锁文章
罗韵
关注
专栏目录
Johnson-Lindenstrauss Theorem - EtoneWiki_files
10-07
Johnson-Lindenstrauss Theorem - EtoneWiki_files
Johnsen-lindenstrauss定理(J-L定理)
CHIERYU的专栏
03-23 5754
前言J-L定理是我在阅读关于汉明嵌入的文章时遇到最多的一次概念，其主要是说“一个dd维空间中的nn个点可以近似等距地嵌入到一个k≈O(logn)k \approx O(logn)维的空间”，所谓等距意思简单地理解就是保持任何两个点之间的相对远近关系。该定理是1984年发现的，在压缩感知、流行学习和降维上被应用。ps:应该是个很牛逼的定理。J-L定理表述对任意常数 0<ε<10 < ε < 1 和任
用Python实现9大回归算法详解——02. Lasso 回归算法
最新发布
qq_41698317的博客
08-14 1403
Lasso 回归是一种有效的线性回归方法，通过引入正则化项来避免过拟合并自动选择特征。在模型训练过程中，Lasso 回归不仅能够对系数进行缩减，还能够将不重要的特征的系数缩减为零，实现特征选择。通过案例分析，我们验证了 Lasso 回归在特征选择和模型简化中的有效性，并展示了如何使用 Python 进行实现和结果分析。
Johnson–Lindenstrauss 定理-Johnson–Lindenstrauss lemma
MrCharles在CSDN
04-23 3951
Johnson–Lindenstrauss 定理是这样的：一个一百万维空间里的随便一万个点，一定可以几乎被装进一个几十维的子空间里！严格说来是这样：在 M 维空间中的 N 个点，几乎总是被包含在一个 D 维子空间里的。这里的 D 按照直觉应当等于 N 的阶，可是实际上我们只需要让 D 是 log(N) 的阶就可以了。这里「几乎被包含在」的确切含义是它在这个子空间上的投影几乎是等距的（允许有一个 ε...
Johnson–Lindenstrauss Lemma
ResumeProject的博客
02-14 586
吻数-维基百科链接 刚才有人问到“吻数”（Kissing Number），一个单位球同时最多能与多少个单位球接触？写了个简明回答，顺便转过来。答案是12。有趣的是不同维数的吻数。 1,2,3,4维，吻数分别为2,6,12,24。大于４维 时，没有定论。 但维数等于24时，反倒有准确答案，吻数为196560。 这是因为24维时有很多对称群好用。 ​​​ 统计学习中的covering number和packing number是什么意思？ packing number 伯恩斯坦不等式 ...
[未完成]scikit-learn一般实例之九:用于随机投影嵌入的Johnson–Lindenstrauss lemma边界...
weixin_34189116的博客
01-12 411
Johnson–Lindenstrauss 引理表明任何高维数据集均可以被随机投影到一个较低维度的欧氏空间,同时可以控制pairwise距离的失真. 理论边界 由一个随机投影P所引入的失真是确定的,这是由于p定义了一个esp-embedding.其概率论定义如下: u和v是从一个形状是[n样例,n特征]=[n_samples, n_features]的数据集中的任意行,p室友一个形状是[n成分,...
通过Johnson-Lindenstrauss变换的差分私人POI查询
03-14
通过Johnson-Lindenstrauss变换的差分私人POI查询
DFT的matlab源代码-fast-jlt:快速Johnson-Lindenstrauss变换（FJLT）
05-26
DFT的matlab源代码快速Johnson-Lindenstrauss变换（FJLT） 快速JLT的Cython和python实现。 使用FFTW。 依存关系 FFTW，一种快速的DFT库，可从处获得。 赛顿 安装 python setup.py install 用法 在python中，使用...
让人惊叹的Johnson-Lindenstrauss引理：理论篇
Paper weekly
10-02 1219
©PaperWeekly 原创 ·作者 |苏剑林单位|追一科技研究方向|NLP、神经网络今天我们来学习 Johnson-Lindenstrauss 引理，由于名字比较长，下面都...
随机映射(Random Projection)算法
05-12
随机映射(Random Projection)算法
Johnson-Trotter算法实现生成排列
04-16
用Johnson-Trotter算法实现生成排列（含代码实现）
Johnson–Lindenstrauss Lemma（2）attention
ResumeProject的博客
02-14 626
多头注意力机制： 在余下部分不区分dk和dv，均使用d表示。P部分的计算需要把序列中每个位置的token都两两组合在余下部分不区分d_k和d_v，均使用d表示。\tiny P部分的计算需要把序列中每个位置的token都两两组合在余下部分不区分dk​和dv​，均使用d表示。P部分的计算需要把序列中每个位置的token都两两组合 linformer中的多头注意力      两种注意力的对比图： 选择k<<n,以下的空间与时间计算的复杂度为O(n
随机算法
lovelyesz的博客
09-17 431
@Test public void test(){ List list = new ArrayList&lt;&gt;(); list.add(40d); list.add(30.00); list.add(10d); list.add(7d); list.add(2d); list.add(1.00); ...
Johnson-Lindenstrauss引理（JL引理）--降维
zephyr_wang的博客
12-31 1096
通俗版JL引理： 塞下N个向量，只需要O(logN)维空间。 “随机投影”降维思路：给定N个向量v1,v2,⋯,vN∈Rm，如果想要将它降到n维，那么只需要从N(0,1/n)中采样一个n×m矩阵A，然后Av1,Av2,⋯,AvN就是降维后的结果。 参考：苏剑林. (Sep. 24, 2021). 《让人惊叹的Johnson-Lindenstrauss引理：应用篇 》[Blog post]. Retrieved from https://kexue.fm/archives/8706 ...
机器学习基础 维基翻译 Johnson-Lindenstrauss降维 应用于广义因子模型 及简单的sklearn例子
斯温的博客
07-17 2389
The Johnson-Lindenstrauss lemma states that any high dimensional dataset can be random projected into a lower dimensional Euclidean space while controlling the distortion in the pairwise distances
洛谷 P5905 【模板】Johnson 全源最短路（Johnson算法）
We have to be very hard to reach the top.
08-20 343
https://www.luogu.com.cn/problem/P5905 思路 先跑spfa找到“势能”以及是否有闭环，然后每个点Dijkstra找最短路。 代码 #include <bits/stdc++.h> using namespace std; const int N = 5005; const int M = 60006; const int INF = 1e9; struct edge { long long v, w, next; } e[M]; struct nod.
projection theorem
zte10096334的博客
07-13 804
参考文献 Popescu, Ioana. 2007. Robust mean-covariance solutions for stochastic optimization. Opera- tions Research 55(1) 98–112.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值