非线性降维的全球几何框架

非线性降维的全球几何框架

约书亚•蒂
Science 290,2319 (2000);
DOI：10.1126 / science.290.5500.2319

如果你想把这篇文章分发给其他人, 您可以点击这里为您的同事、客户或商业客户订购高质量的副本。

可以通过遵循这里的指南获得重新发布或重新使用文章或文章部分的许可。

与本文相关的以下资源可从以下网站在线获得：www.sciencemag.org (this information is current as of July 25,2012):

更新的信息和服务, 包括高分辨率数字，可在本文的在线版本中找到：http://www.sciencemag.org/content/290/5500/2319.full.html

支持在线材料可在：
http://www.sciencemag.org/content/suppl/2000/12/21/290.5500.2319.DC1.html
Supporting Online Material

与本文相关的科学网站上选定的附加文章列表可在：
http://www.sciencemag.org/content/290/5500/2319.full.html#related

这篇文章引用了29篇文章，其中10篇可以免费访问：
http://www.sciencemag.org/content/290/5500/2319.full.html#ref-list-1

这篇文章已被708篇文章引用在ISI科学网上

这篇文章已被高线出版社主办的53篇文章引用；见：
http://www.sciencemag.org/content/290/5500/2319.full.html#related-urls

本文出现在以下主题集合中：
心理学
http://www.sciencemag.org/cgi/collection/psychology

Science (印刷ISSN 0036-8075;在线ISSN 1095-9203）每周发布一次，但12月的最后一周除外。通过美国科学进步协会，1200纽约大道NW，华盛顿特区，20005。美国科学进步协会版权2000；保留所有权利。标题科学是AAAS的注册商标。

报告
非线性降维的全球几何框架
Joshua B. Tenenbaum，1 * Vin de Silva，2John C. Langford3
科学家在处理大量高维数据（例如全球气候模式，恒星光谱或人类基因分布）时，经常会遇到降维问题：寻找隐藏在高维观测中的有意义的低维结构。人脑在日常感知中面临着同样的问题，从其高维感官输入中提取了3万听觉神经纤维或106视神经纤维，这是数量很少的感知相关特征。在这里，我们描述了一种解决降维问题的方法，该方法使用易于测量的局部度量信息来学习数据集的基础全局几何。与经典技术（例如主成分分析（PCA）和多维缩放（MDS））不同，我们的方法能够发现非线性的自由度，这些自由度是复杂自然观察的基础，例如人类手写或在不同观看条件下的面部图像。与以前的非线性降维算法相比，我们有效地计算了全局最优解，并且对于一类重要的数据流形，可以保证渐近收敛到真实结构。
在图1A中示出了从视觉感知领域降维的典型问题。输入包含在不同姿势和光照条件下以特定顺序观察到的许多人脸图像。可以将这些图像视为高维向量空间中的点，每个输入维对应于图像中一个像素的亮度或一个视网膜神经节细胞的放电速率。尽管输入维数可能非常高（例如，对于这64个像素乘以64个像素的图像，为4096），但是这些图像的在感知上有意义的结构具有更少的独立自由度。在4096维输入空间内，所有图像都位于固有的三维流形或约束表面上，可以通过两个位姿变量和一个方位角照明角度对其进行参数设置。我们的目标是，仅给出无序的高维输入，即可发现具有捕获数据集固有自由度的坐标的低维表示形式（例如图1A）。这个问题不仅在视觉研究（1-5）中，而且在言语（6、7），运动控制（8、9）以及一系列其他物理和生物科学（10-12）中都至关重要。
降维的经典技术PCA和MDS易于实施，可高效计算，并确保发现位于高维输入空间的线性子空间上或附近的数据的真实结构（13）。 PCA发现在高维输入空间中测量的数据点的低维嵌入可以最好地保留其方差。古典MDS找到了一个保留点间距离的嵌入，当这些距离是欧几里得时，等效于PCA。但是，许多数据集包含PCA和MDS不可见的基本非线性结构（4、5、11、14）。例如，这两种方法都无法检测到面部数据集的真实自由度（图1A），甚至无法检测其固有的三维度（图2A）。在这里，我们描述了一种结合了PCA和MDS的主要算法功能（计算效率，全局最优性和渐近收敛性保证）的方法，该方法可以灵活地学习各种非线性流形。图3A说明了数据位于二维“瑞士卷”上时的非线性挑战：在基础流形上相距很远的点（通过测地线或最短路径的距离来衡量）在高维输入中可能看起来像是接近的空间，以它们的直线欧几里得距离来衡量。只有测地距离反映了流形的真正低维几何形状，但是PCA和MDS只能看到欧几里得结构；反之亦然。因此，他们无法检测固有的二维性（图2B）。我们的方法建立在经典MDS的基础上，但力求保留数据的固有几何形状，如所有对数据点之间的测地线歧管距离中所捕获的一样。关键在于估计仅在输入空间距离的情况下，遥远点之间的测地线距离。对于相邻点，输入空间距离提供了一个很好的到测地线距离的近似值。
对于较远的点，可以通过将相邻点之间的“短跳”序列相加来近似测地距离。通过找到图中的最短路径（具有连接相邻数据点的边）可以有效地计算出这些近似