【论文翻译】A Global Geometric Framework for Nonlinear Dimensionality Reduction

论文题目：A Global Geometric Framework for Nonlinear Dimensionality Reduction
非线性降维的全局几何框架
科学家们在处理大量高维数据时，如全球气候模式、恒星光谱或人类基因分布等，经常会面临维度降低的问题：在高维观测过程中，发现隐藏在其中的有意义的低维结构。人脑在日常感知中也面临同样的问题，从高维感官输入中提取出30,000个听觉神经元或106个视神经纤维，这是数量很少的感知相关特征。在这里，我们描述了一种解决维度降低问题的方法，该方法使用易于测量的局部度量信息来学习数据集的底层全局几何，与主成分分析(PCA)和多维度缩放(MDS)等经典技术不同，我们的方法能够发现复杂的自然观察结果所蕴含的非线性自由度，例如不同观察条件下的人类笔迹或人脸图像。与以往的非线性维度降低算法相比，我们的方法能够计算出一个全局最优的解，并且对于一类重要的数据表征，保证渐进地收敛到真实结构。
图中的A是视觉感知领域的一个典型的维度降低问题。输入包含在不同姿势和光照条件下以特定顺序观察到的许多人脸图像。这些图像可以被认为是高维向量空间中的点，每个输入维度对应图像中一个像素的亮度或一个视网膜神经节细胞的放电率。虽然输入维度可能相当高，例如，对于这些64x64像素的图像来说，为4096，但这些图像的感知意义结构具有较少的独立自由度。在4096维的输入空间内，所有的图像都位于一个本质上的三维面，或者说约束面，它可以由两个姿势变量加上一个方位光照角进行参数化。我们的目标是，只给定无序的高维输入，发现如图1中的A这样的低维表示，其坐标可以捕捉数据集的固有自由度。这个问题不仅在视觉(1-5)的研究中具有核心重要性，而且在语音(6，7)、运动控制(8，9)以及一系列其他物理和生物科学(10-12)中也具有核心重要性。

经典的降维技术PCA和MDS，实现简单，计算效率高，并保证发现躺在高维输入空间的线性子空间上或附近的数据的真实结构（13）。PCA发现了一个低维数据点的嵌入，它能最好地保留数据点在高维输入空间中的方差。经典MDS找到一个能保存点间距离的嵌入，当这些距离是欧几里得时，相当于PCA。然而，许多数据集包含重要的非线性结构，而这些结构是PCA和MDS所看不到的（4，5，11，14）。

在这里，我们描述了一种方法，它结合了PCA和MDS的主要算法特征：计算效率、全局优化和渐进收敛保证，以及学习广泛的非线性流形的灵活性。图3的A说明了在二维 "瑞士卷 "上的非线性数据所面临的挑战：在底层流形上相距甚远的点，按照它们的测地线或最短路径的距离来衡量，在高维输入空间中，按照它们的欧氏直线距离来衡量，可能会显得非常接近。只有测地距离才反映了真正的低维几何学，但PCA和MDS实际上只看到了欧氏结构；因此，它们无法检测内在的二维性。

我们的方法建立在经典MDS的基础上，但力求保留数据的内在几何形状，正如所有数据点之间的测地线流形距离所体现的那样。关键是在只给定输入空间距离的情况下，估计远方点之间的测地线距离。对于相邻点，输入空间距离可以很好地近似测地距离。对于远处的点，测地距离可以通过相邻点之间的 "短跳 "序列相加来近似。这些近似值可以通过寻找图中连接相邻数据点的边的最短路径来有效计算。

完整的等距特征图谱，即Isomap算法有三个步骤，详见表1。第一步根据输入空间X中的点i,j对之间的距离dX(i,j)来确定哪些点是流形M上的邻接点，两种简单的方法是将每个点连接到某个固定半径e内的所有点，或者连接到它的所有K个最近的邻接点（15）。这些邻接关系表示为数据点上的加权图G，相邻点之间的权重为dX(i,j)的边(图3B)。

在第二步中，Isomap通过计算图G中所有点对之间的最短路径距离dG(i,j)来估计流形M上所有点对之间的测地距离dM(i,j)，表1中给出了一个寻找最短路径的简单算法(16)。

最后一步将经典MDS应用于图距离矩阵DG= {dG(i,j)}，在d维欧氏空间Y中构建数据的嵌入，该空间能最好地保存线形估计的内在几何结构（图3C）。Y中各点的坐标向量yi的选择是为了最小化成本函数

E=∣∣τ(DG)−τ(DY)∣∣L2(1)

其中DY表示欧氏距离矩阵{dY(i,j) = ||yi - yj||}和∣∣A∣∣L2∣∣A∣∣ L2的L2矩阵规范
t算子将距离转换为内积(17)，内积以一种支持高效优化的形式独特地描述了数据的几何特征。将坐标yi设为矩阵τ(DG)(13)的前d个特征向量，即可实现式1的全局最小值。
与PCA或MDS一样，数据的真实维度可以通过随着Y的维度增加而减少的误差来估计。对于经典方法失效的瑞士卷，Isomap的残差方差正确地在d =2处达到了底部
PCA(空心三角形)、MDS，即(A)至 ( C) 中的空心三角形、(D)中的空心圆和Isoma实心圆对四个数据集（42）的残差。(A)在姿势和照明度上变化的人脸图像（图1 A）；(B)瑞士卷数据（图3）；( C)手部图像，在手指延伸和手腕旋转（20）变化；(D)手写 "2 "（Fig.1B）。在所有情况下，残差随着维度d的增加而减小。数据的内在维度可以通过寻找 "肘部 "来估计，在这个 "肘部 "处，随着维度的增加，曲线不再明显下降。 已知时，箭头标记真实或近似尺寸。请注意，与Isomap相比，PCA和MDS倾向于高估尺寸。
就像PCA和MDS在给定足够数据的情况下，可以保证恢复线性流形的真实结构一样，Isomap可以渐进地保证恢复一类严格意义上更大的非线性流形的真实维度和几何结构。就像瑞士卷一样，这些流形的内在几何结构是欧氏空间的凸区域，但其高维输入空间的环境几何结构可能是高度折叠、扭曲或弯曲的。对于非欧几里得表象，如半球形或甜甜圈的表面，Isomap仍能产生全局最优的低维欧几里得表象，由公式1测得。
这些渐近收敛的保证基于以下证明，即随着数据点数量的增加，图形距离dG(i,j)对固有测地距离dM(i,j)提供了越来越好的近似值，在无限数据的限制下变得任意精确(18, 19)。dG(i,j)收敛到dM(i,j)的速度取决于流形的某些参数，因为它位于高维空间内(曲率半径和分支分离)，并取决于点的密度。如果一个数据集呈现出这些参数的极端值或偏离了均匀的密度，渐进收敛在一般情况下仍然成立，但准确估计测地距离所需的样本量可能不切实际地大。
"瑞士卷"数据集，说明Isomap是如何利用测地路径来降低非线性维度的。 (A) 对于非线性流形上的两个任意带圆圈的点，它们在高维输入空间中的欧氏距离，即虚线的长度可能无法准确地重现它们的内在相似性，这是通过沿低维流形的测地距离，即实曲线的长度测得的。(B)Isomap第一步构建的邻域图G，其K =7，N=1000个数据点，允许在第二步中有效地计算出真正的测地路径的近似值即红色段，作为G中最短的路径。( C)Isomap在第三步中恢复的二维嵌入，它最好的保留邻域图中最短的路径距离(覆盖)。嵌入中的蓝色直线现在比相应的红色图路径更简单、更干净地代表真正的测地路径的近似。
Isomap的全局坐标提供了一种简单的方法，从其内在的非线性自由度出发，来分析和操作高维度的观测数据。对于一组已知具有三个自由度的合成人脸图像，Isomap正确地检测出尺寸（图2 A），并分离出真正的底层因素（图1 A）。该算法还恢复了已知的一组噪声的真实图像的低维结构，该图像是由一只在手指伸展和手腕旋转中变化的人类手产生的（图2 C）（20）。给定一个更复杂的手写数字数据集，它没有明确的流形几何，Isomap仍然可以找到全局有意义的坐标（图1 B）和非线性结构，而PCA或MDS没有检测到非线性结构（图2D）。对于这三组数据，在低维坐标空间中，远处的点之间自然出现线性插值，证实了Isomap已经捕捉到了数据的感性相关结构（图4）。
表1.Isomap算法将高维输入空间X中N个数据点的所有对i,j之间的距离dX(i,j)作为输入，用标准欧氏度量法，如图1A，或某种域特定度量法，如图1B。该算法在d维欧氏空间Y中输出坐标向量yi，根据公式1，最能代表数据的内在几何形状。唯一的自由参数ε或K出现在步骤1中。

沿着Isomap坐标空间中的直线进行插值，类似于图3C中的蓝线，方法是通过沿测地线近似地变换相应的高维观测值（43），以实现了感知上自然但高度非线性的 “变形”，类似于图3A中的实线。(A) 人脸图像三维嵌入中的插值（图1A）。(B)快速连续观看时，手部图像（20）的四维嵌入中的内插显示为自然的手部运动，即使在观察到的数据中没有发生这样的运动。©手写 "2 "即图1B的六维嵌入中的插值不仅在环形和弓形衔接的视觉特征上保持了连续性，而且在隐含的笔的轨迹上也保持了连续性，这才是这些表象背后的真正自由度。
以前尝试将PCA和MDS扩展到非线性数据集的方法分为两大类，每类都受到我们方法克服的局限性的困扰。就像我们在图1中做的那样,局部线性技术(21-23)并不是为了在单一坐标系内表示数据集的全局结构而设计的。基于贪婪优化程序(24-30)的非线性技术试图发现全局结构，但缺乏Isomap从PCA和MDS中继承的关键算法特征：一个非迭代的、多项式时间的程序，并保证全局最优性；对于内在的欧几里德流形，保证了到真实结构的渐近收敛；以及发现任意维度流形的能力，而不需要从开始就初始化的固定d或在d中呈指数增长的计算资源。
在这里，我们已经展示了Isomap在为其视觉上引人注目的结构选择的数据集上的性能，但该技术可以应用在任何非线性几何形状复杂的PCA或MDS的使用。Isomap是对基于高阶统计学的PCA线性扩展的补充，也可以与之结合，如独立成分分析(31, 32)。它也可能导致人们更好地理解大脑如何来表示对象的动态外观，其中视运动的心理物理学研究（33，34）提出了非线性流形上的测地线变换（35）的中心作用，很像那些在这里研究。