同样是看了PULSE那篇论文后的一点思考,这里做一个记录。
PULSE一文中提到的隐空间搜索问题:
令生成器为
G
G
G,隐空间为
L
L
L,找到隐向量z满足:
∣
∣
D
S
(
G
(
z
)
)
−
I
L
R
∣
∣
p
p
≤
ϵ
||DS(G(z))-I_{LR}||_p^p\leq \epsilon
∣∣DS(G(z))−ILR∣∣pp≤ϵ
由于高维高斯的大部分质量位于半径为d的球面附近,为了解决这个问题,文章采用正态分布的先验取代了高斯分布的先验。
我们令
L
′
=
d
S
d
−
1
L'=\sqrt{d}S^{d-1}
L′=dSd−1,其中
S
d
−
1
∈
R
d
S^{d-1}\in R^d
Sd−1∈Rd是d维欧式空间中的单位球。这将减少从隐空间到投影得到的超球面所产生的相关问题。
初次阅读这部分解释时我是十分费解的,为了更好地理解其解决问题的思路,我找到该理论依据的出处,并有了以下理解:
假设特定问题中所有的数据点都位于单位超球面中,已知3d中超球面的体积可以表示为:
V
=
4
3
r
3
π
V=\frac{4}{3}r^3\pi
V=34r3π
将上述3d超球面扩展到d维后:
V
=
c
r
d
V=cr^d
V=crd
根据下图所示可以看出,几何上大多数点落在外壳间(蓝线红线间),即半径为0.95的单位圆的壳层也只占圆圈面积的一小部分
接下来考虑d维超球面的情况:
V
=
c
V=c
V=c
V
s
h
e
l
l
=
c
−
c
r
d
V_{shell}=c-cr^d
Vshell=c−crd
%
V
=
V
s
h
e
l
l
V
\%V=\frac{V_{shell}}{V}
%V=VVshell
%
V
=
1
−
r
d
\%V=1-r^d
%V=1−rd
随着输入维度d的增加,驻留在壳体中的体积的数量显着增加,如下图所示:
该图显示了壳体在超球面占据的体积分数随着数据维数的增加而增加。
可以看到,壳体的体积分数呈指数增长,朝向1,1的维数是其极限。即使对于少量的r,壳的分数也迅速增加到1。
为了来观察这个变化,就不得不提到高斯分布。
如果我们观察三维输入空间的高斯密度,它就像一个超球面,其中概率随着半径的平均值而减小,这通常适用于超过3个维度:
图为二维高斯分布的高斯密度。需要注意的是密度是如何投射到类椭圆的对象上的,在更高维空间中也是类似。
在高维空间中,高斯的密度集中在其超球面的外壳中,这是由于超球面体积是壳体的一部分,这在高维空间中变得显著。这意味着在采用高斯采样的情况下,结果将是来自超球面的外壳具有最高概率的数据点。