隐空间与高斯超球面相关概念

这篇博客探讨了PULSE论文中关于隐空间搜索的问题,指出在高维空间中,大部分数据点位于单位超球面的外壳。随着维度增加,外壳体积占比增加,导致高斯分布的概率集中在超球面边缘。文章通过引入正态分布先验解决这一问题,以更有效地在隐空间进行搜索。
摘要由CSDN通过智能技术生成

同样是看了PULSE那篇论文后的一点思考,这里做一个记录。
PULSE一文中提到的隐空间搜索问题:
令生成器为 G G G,隐空间为 L L L,找到隐向量z满足:
∣ ∣ D S ( G ( z ) ) − I L R ∣ ∣ p p ≤ ϵ ||DS(G(z))-I_{LR}||_p^p\leq \epsilon DS(G(z))ILRppϵ
由于高维高斯的大部分质量位于半径为d的球面附近,为了解决这个问题,文章采用正态分布的先验取代了高斯分布的先验。
我们令 L ′ = d S d − 1 L'=\sqrt{d}S^{d-1} L=d Sd1,其中 S d − 1 ∈ R d S^{d-1}\in R^d Sd1Rd是d维欧式空间中的单位球。这将减少从隐空间到投影得到的超球面所产生的相关问题

初次阅读这部分解释时我是十分费解的,为了更好地理解其解决问题的思路,我找到该理论依据的出处,并有了以下理解:
假设特定问题中所有的数据点都位于单位超球面中,已知3d中超球面的体积可以表示为:
V = 4 3 r 3 π V=\frac{4}{3}r^3\pi V=34r3π
将上述3d超球面扩展到d维后:
V = c r d V=cr^d V=crd
根据下图所示可以看出,几何上大多数点落在外壳间(蓝线红线间),即半径为0.95的单位圆的壳层也只占圆圈面积的一小部分

在这里插入图片描述
接下来考虑d维超球面的情况:
V = c V=c V=c
V s h e l l = c − c r d V_{shell}=c-cr^d Vshell=ccrd
% V = V s h e l l V \%V=\frac{V_{shell}}{V} %V=VVshell
% V = 1 − r d \%V=1-r^d %V=1rd
随着输入维度d的增加,驻留在壳体中的体积的数量显着增加,如下图所示:
在这里插入图片描述
该图显示了壳体在超球面占据的体积分数随着数据维数的增加而增加。

可以看到,壳体的体积分数呈指数增长,朝向1,1的维数是其极限。即使对于少量的r,壳的分数也迅速增加到1。

为了来观察这个变化,就不得不提到高斯分布
如果我们观察三维输入空间的高斯密度,它就像一个超球面,其中概率随着半径的平均值而减小,这通常适用于超过3个维度:
在这里插入图片描述图为二维高斯分布的高斯密度。需要注意的是密度是如何投射到类椭圆的对象上的,在更高维空间中也是类似。

在高维空间中,高斯的密度集中在其超球面的外壳中,这是由于超球面体积是壳体的一部分,这在高维空间中变得显著。这意味着在采用高斯采样的情况下,结果将是来自超球面的外壳具有最高概率的数据点

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值