非线性降维的全球几何框架
约书亚·蒂
Science 290,2319 (2000);
DOI:10.1126 / science.290.5500.2319
如果你想把这篇文章分发给其他人, 您可以点击这里为您的同事、客户或商业客户订购高质量的副本。
可以通过遵循这里的指南获得重新发布或重新使用文章或文章部分的许可。
与本文相关的以下资源可从以下网站在线获得:www.sciencemag.org (this information is current as of July 25,2012):
更新的信息和服务, 包括高分辨率数字,可在本文的在线版本中找到:http://www.sciencemag.org/content/290/5500/2319.full.html
支持在线材料可在:
http://www.sciencemag.org/content/suppl/2000/12/21/290.5500.2319.DC1.html
Supporting Online Material
与本文相关的科学网站上选定的附加文章列表可在:
http://www.sciencemag.org/content/290/5500/2319.full.html#related
这篇文章引用了29篇文章,其中10篇可以免费访问:
http://www.sciencemag.org/content/290/5500/2319.full.html#ref-list-1
这篇文章已被708篇文章引用在ISI科学网上
这篇文章已被高线出版社主办的53篇文章引用;见:
http://www.sciencemag.org/content/290/5500/2319.full.html#related-urls
本文出现在以下主题集合中:
心理学
http://www.sciencemag.org/cgi/collection/psychology
Science (印刷ISSN 0036-8075;在线ISSN 1095-9203)每周发布一次,但12月的最后一周除外。通过美国科学进步协会,1200纽约大道NW,华盛顿特区,20005。美国科学进步协会版权2000;保留所有权利。标题科学是AAAS的注册商标。
报告
非线性降维的全球几何框架
Joshua B. Tenenbaum,1 * Vin de Silva,2John C. Langford3
科学家在处理大量高维数据(例如全球气候模式,恒星光谱或人类基因分布)时,经常会遇到降维问题:寻找隐藏在高维观测中的有意义的低维结构。人脑在日常感知中面临着同样的问题,从其高维感官输入中提取了3万听觉神经纤维或106视神经纤维,这是数量很少的感知相关特征。在这里,我们描述了一种解决降维问题的方法,该方法使用易于测量的局部度量信息来学习数据集的基础全局几何。与经典技术(例如主成分分析(PCA)和多维缩放(MDS))不同,我们的方法能够发现非线性的自由度,这些自由度是复杂自然观察的基础,例如人类手写或在不同观看条件下的面部图像。与以前的非线性降维算法相比,我们有效地计算了全局最优解,并且对于一类重要的数据流形,可以保证渐近收敛到真实结构。
在图1A中示出了从视觉感知领域降维的典型问题。输入包含在不同姿势和光照条件下以特定顺序观察到的许多人脸图像。可以将这些图像视为高维向量空间中的点,每个输入维对应于图像中一个像素的亮度或一个视网膜神经节细胞的放电速率。尽管输入维数可能非常高(例如,对于这64个像素乘以64个像素的图像,为4096),但是这些图像的在感知上有意义的结构具有更少的独立自由度。在4096维输入空间内,所有图像都位于固有的三维流形或约束表面上,可以通过两个位姿变量和一个方位角照明角度对其进行参数设置。我们的目标是,仅给出无序的高维输入,即可发现具有捕获数据集固有自由度的坐标的低维表示形式(例如图1A)。这个问题不仅在视觉研究(1-5)中,而且在言语(6、7),运动控制(8、9)以及一系列其他物理和生物科学(10-12)中都至关重要。
降维的经典技术PCA和MDS易于实施,可高效计算,并确保发现位于高维输入空间的线性子空间上或附近的数据的真实结构(13)。 PCA发现在高维输入空间中测量的数据点的低维嵌入可以最好地保留其方差。古典MDS找到了一个保留点间距离的嵌入,当这些距离是欧几里得时,等效于PCA。但是,许多数据集包含PCA和MDS不可见的基本非线性结构(4、5、11、14)。例如,这两种方法都无法检测到面部数据集的真实自由度(图1A),甚至无法检测其固有的三维度(图2A)。在这里,我们描述了一种结合了PCA和MDS的主要算法功能(计算效率,全局最优性和渐近收敛性保证)的方法,该方法可以灵活地学习各种非线性流形。图3A说明了数据位于二维“瑞士卷”上时的非线性挑战:在基础流形上相距很远的点(通过测地线或最短路径的距离来衡量)在高维输入中可能看起来像是接近的空间,以它们的直线欧几里得距离来衡量。只有测地距离反映了流形的真正低维几何形状,但是PCA和MDS只能看到欧几里得结构;反之亦然。因此,他们无法检测固有的二维性(图2B)。我们的方法建立在经典MDS的基础上,但力求保留数据的固有几何形状,如所有对数据点之间的测地线歧管距离中所捕获的一样。关键在于估计仅在输入空间距离的情况下,遥远点之间的测地线距离。对于相邻点,输入空间距离提供了一个很好的到测地线距离的近似值。
对于较远的点,可以通过将相邻点之间的“短跳”序列相加来近似测地距离。通过找到图中的最短路径(具有连接相邻数据点的边)可以有效地计算出这些近似值。完整的等距特征映射或Isomap算法包括三个步骤,如表1所示。第一步,根据点对i之间的距离dX(i,j)确定哪些点是流形M上的相邻点, j是输入空间X中的j。两种简单的方法是将每个点连接到某个固定半径e内的所有点,或连接到它的所有K个最近的邻居(15)。这些邻域关系表示为数据点上的加权图G,相邻点之间的权重为dX(i,j)的边缘(图3B)。
在第二步中,Isomap通过计算图形G中的最短路径距离dG(i,j)来估计歧管M上所有点对之间的测地距离dM(i,j)。一种简单的算法(16)用于查找表1给出了最短路径。
最后一步将经典MDS应用于图距离DG= {dG(i,j)}的矩阵,从而将数据嵌入d维欧几里得空间Y中,从而最好地保留流形的估计固有几何形状(图3C)。选择Y中点的坐标向量yi以最小化成本函数
E = ||t(DG)- t(DY)||L2 (1)
DY表示欧几里得距离的矩阵{dY(i,j) = ||yi – yj||} and||A||L2 L2matrix规范=i,jAij2。t运算符将距离转换为内积(17),以支持高效优化的形式唯一地表征数据的几何形状。方程的全局最小值通过将坐标yito设置为矩阵t(DG)的顶部d个特征向量,可以得到图1所示的结果(13)。与PCA或MDS一样,当Y的维数增加时,可以根据误差的减少来估计数据的真实维数。对于经典方法失败的Swiss Roll,Isomap的剩余方差正确地在d 5 2见底(图2B)。就像有足够的数据可以保证PCA和MDS恢复线性流形的真实结构一样,Isomap也可以渐近地保证恢复严格更大类别的非线性流形的真实尺寸和几何结构。像瑞士卷一样,这些歧管的固有几何形状是欧氏空间凸形区域的歧管,但在高维输入空间中的周围几何形状可能会高度折叠,扭曲或弯曲。对于非欧几里德流形,例如半球或甜甜圈表面,Isomap仍会生成一个全局最优的低维欧几里得表示,如等式1所示。 1.渐近收敛的这些保证基于以下证明:随着数据点数量的增加,图距离dG(i,j)提供了更接近于内在测地距离dM(i,j)的近似值,从而在距离上任意精确。无限数据的限制(18,19)。 dG(i,j)收敛到dM(i,j)的速度取决于流形的某些参数,因为它位于高维空间(曲率半径和分支间隔)内,并且取决于点的密度。就数据集呈现这些参数的极值或偏离均匀密度的程度而言,渐近收敛通常仍然成立,但是准确估计测地距离所需的样本大小可能不切实际。 Isomap的全局坐标提供了一种根据其固有的非线性自由度来分析和处理高维观测值的简单方法。对于已知具有三个自由度的一组合成人脸图像,Isomap可以正确检测尺寸(图2A)并分离出真正的潜在因素(图1A)。该算法还恢复了一组嘈杂的真实图像的已知低维结构,该图像是由人的手指延伸和手腕旋转变化产生的(图2C)(20)。给定更复杂的手写数字数据集(没有清晰的流形几何),Isomap仍然可以找到全局有意义的坐标(图1B)和PCA或MDS无法检测到的非线性结构(图2D)。对于所有这三个数据集,低维坐标空间中遥远点之间的线性插值的自然出现证实了Isomap已捕获了数据的感知相关结构(图4)。先前将PCA和MDS扩展到非线性数据集的尝试分为两大类,每类都受到我们方法克服的局限性的困扰。正如我们在图1中所做的那样,局部线性技术(21–23)并非旨在表示单个坐标系内数据集的全局结构。基于贪婪优化程序(24–30)的非线性技术试图发现全局结构,但缺少Isomap从PCA和MDS继承的关键算法功能:一种非迭代的多项式时间过程,可保证全局最优;对于本质上的多种形式保证渐近收敛到真实结构;发现任意维数的流形的能力,而不需要从开始就初始化的固定d或在d中呈指数增长的计算资源。在这里,我们已经证明了Isomap在为其视觉上引人注目的结构选择的数据集上的性能,但是该技术可以应用于非线性几何使PCA或MDS使用变得复杂的任何地方。 Isomap可基于更高阶统计量(例如独立分量分析)来补充PCA的线性扩展,并且可以与之结合使用(31、32)。它也可能导致人们更好地理解大脑是如何表示物体的动态外观的,其中视运动的心理物理学研究(33,34)提出了非线性流形上的测地变换的中心作用(35),就像这里研究的那样。
图1.(A)视觉感知的典型降维问题。输入由一系列4096维向量组成,这些向量表示以不同姿势和光照方向渲染的面部的64像素乘64像素图像的亮度值。 Isomap(K 5 6)用于N 5698原始图像,可以学习数据的固有几何结构的三维嵌入。显示了二维投影,原始输入图像(红色圆圈)的样本叠加在所有表示第三维的数据点(蓝色)和水平滑块(图像下方)上。嵌入的每个坐标轴与原始数据的一个自由度高度相关:左右姿势(x轴,R 5 0.99),上下姿势(y轴,R 5 0.90)和照明方向(滑块位置,R) 5 0.92)。赋予Isomap的输入空间距离dX(i,j)是4096维图像向量之间的欧几里得距离。 (B)Isomap应用于来自MNIST数据库(40)的N 5 1000个手写“ 2”。此处显示的Isomap嵌入中两个最重要的维度明确说明了“ 2”的主要特征:下环(x轴)和上弓(y轴)。输入空间距离dX(i,j)是通过切线距离测量的,该距离是一种旨在捕获与手写识别相关的不变性的度量(41)。这里我们使用e-Isomap(e 5 4.2)是因为我们并不希望在整个数据集上保持恒定的维数。与此相符,Isomap发现了从较高维度的数据量中投射出的卷须,并在数字中代表了额外笔画或装饰物的连续夸张。
图2. PCA(空心三角形),MDS的残差[在(A)到(C)中的空心三角形; (D)中的空心圆],以及四个数据集(42)上的Isomap(实心圆)。 (A)脸部图像的姿势和照度有所不同(图1A)。 (B)瑞士卷数据(图3)。 (C)手指伸出和手腕旋转时手图像有所不同(20)。 (D)手写“ 2”(图1B)。在所有情况下,残余差异随着维数d的增加而减小。数据的固有维数可以通过查找“弯头”来估计,在该“弯头”处,曲线随添加维数而不再显着减小。已知时,箭头标记真实或近似尺寸。请注意,与Isomap相比,PCA和MDS倾向于高估尺寸。
图3.“瑞士卷”数据集,说明了Isomap如何利用测地线路径进行非线性降维。 (A)对于非线性流形上的两个任意点(带圆圈),它们在高维输入空间中的欧几里得距离(虚线的长度)可能无法准确反映其内在相似性,这是通过沿低维流形上的测地距离(长度实曲线)。 (B)在Isomap的第一步中构造的邻域图G(具有K = 7和N = 1000个数据点)允许在第二步中有效地计算真实测地路径的近似值(红色线段),作为其中的最短路径G.(C)由Isomap在第三步中恢复的二维嵌入,它最好地在邻域图中保留了最短的路径距离(重叠)。现在,与相应的图形路径(红色)相比,嵌入中的直线(蓝色)表示对真实测地路径更简单,更清晰的近似值。
图4.沿着Isomap坐标空间中的直线进行插值(类似于图3C中的蓝线),通过将它们大致沿测地线变换来实现相应高维观测值(43)的感知上自然但高度非线性的“变形” (类似于图3A中的实线)。 (A)在人脸图像的三维嵌入中进行插值(图1A)。 (B)快速连续观看时,手部图像(20)的四维嵌入中的内插显示为自然的手部运动,即使在观察到的数据中未发生此类运动。 (C)手写“ 2”(图1B)的六维嵌入中的插值不仅在环和弓形关节的视觉特征中,而且在隐含的笔迹轨迹(即真实的自由度)中都保持连续性这些外观的基础。
表1. Isomap算法将所有对i,j之间的距离dX(i,j)与高维输入空间X中的N个数据点之间的距离作为输入,以标准欧几里德度量标准进行测量(如图1A所示)或采用某些特定于域的指标(如图1B所示)。该算法在d维欧几里得空间Y中输出坐标矢量yi(根据等式1),该向量最好地表示数据的固有几何形状。唯一的自由参数(e或K)出现在步骤1中。
|
步骤
1.构造邻域图
|
2.计算最短路径
|
3.构造d维嵌入
参考和注释
1. M. P. Young, S. Yamane, Science 256, 1327 (1992).
2. R. N. Shepard, Science 210, 390 (1980).
3. M. Turk, A. Pentland, J. Cogn. Neurosci. 3, 71 (1991).
4. H. Murase, S. K. Nayar, Int. J. Comp. Vision 14, 5
(1995).
5. J. W. McClurkin, L. M. Optican, B. J. Richmond, T. J.
Gawne, Science 253, 675 (1991).
6. J. L. Elman, D. Zipser, J. Acoust. Soc. Am. 83, 1615
(1988).
7. W. Klein, R. Plomp, L. C. W. Pols, J. Acoust. Soc. Am.
48, 999 (1970).
8. E. Bizzi, F. A. Mussa-Ivaldi, S. Giszter, Science 253, 287
(1991).
9. T. D. Sanger, Adv. Neural Info. Proc. Syst. 7, 1023
(1995).
10. J. W. Hurrell, Science 269, 676 (1995).
11. C. A. L. Bailer-Jones, M. Irwin, T. von Hippel, Mon.
Not. R. Astron. Soc. 298, 361 (1997).
12. P. Menozzi, A. Piazza, L. Cavalli-Sforza, Science 201,
786 (1978).
13. K. V. Mardia, J. T. Kent, J. M. Bibby, Multivariate
Analysis, (Academic Press, London, 1979).
14. A. H. Monahan, J. Clim., in press.
15. The scale-invariant K parameter is typically easier to
set than e, but may yield misleading results when the
local dimensionality varies across the data set. When
available, additional constraints such as the temporal
ordering of observations may also help to determine
neighbors. In earlier work (36) we explored a more
complex method (37), which required an order of
magnitude more data and did not support the theo-
retical performance guarantees we provide here for
e- and K-Isomap.
16. This procedure, known as Floyd’s algorithm, requires
O(N 3 ) operations. More efficient algorithms exploit-
ing the sparse structure of the neighborhood graph
can be found in (38).
17. The operator t is defined by t(D) 5 2HSH/2, where S
is the matrix of squared distances {S ij 5 D ij
2 }, and H is
the “centering matrix” {H ij 5 d ij 2 1/N} (13).
18. Our proof works by showing that for a sufficiently
high density (a) of data points, we can always choose
a neighborhood size (e or K) large enough that the
graph will (with high probability) have a path not
much longer than the true geodesic, but small
enough to prevent edges that “short circuit” the true
geometry of the manifold. More precisely, given ar-
bitrarily small values of l 1 , l 2 , and m, we can guar-
antee that with probability at least 1 2 m, estimates
of the form
~1 2 l 1 !d M ~i,j! # d G ~i,j! # ~1 1 l 2 !d M ~i,j!
will hold uniformly over all pairs of data points i,j. For
e-Isomap, we require
e # ~2/p!r 0 ˛ 24l 1 , e , s 0 ,
a . @log~V/mh d ~l 2 e/16! d !#/h d ~l 2 e/8! d
where r 0 is the minimal radius of curvature of the
manifold M as embedded in the input space X, s 0 is
the minimal branch separation of M in X, V is the
(d-dimensional) volume of M, and (ignoring boundary
effects) h d is the volume of the unit ball in Euclidean
d-space. For K-Isomap, we let e be as above and fix
the ratio (K 1 1)/a 5 h d (e/2) d /2. We then require
e 2~K11!/4 # mh d ~e/4! d /4V,
~e/4! ~K11!/ 2 # mh d ~e/8! d /16V,
a . @4 log~8V/mh d ~l 2 e/32p! d !#/h d ~l 2 e/16p! d
The exact content of these conditions—but not their
general form—depends on the particular technical
assumptions we adopt. For details and extensions to
nonuniform densities, intrinsic curvature, and bound-
ary effects, see http://isomap.stanford.edu.
19. In practice, for finite data sets, d G (i,j) may fail to
approximate d M (i,j) for a small fraction of points that
are disconnected from the giant component of the
neighborhood graph G. These outliers are easily de-
tected as having infinite graph distances from the
majority of other points and can be deleted from
further analysis.
20. The Isomap embedding of the hand images is avail-
able at Science Online at www.sciencemag.org/cgi/
content/full/290/5500/2319/DC1. For additional
material and computer code, see http://isomap.
stanford.edu.
21. R. Basri, D. Roth, D. Jacobs, Proceedings of the IEEE
Conference on Computer Vision and Pattern Recog-
nition (1998), pp. 414–420.
22. C. Bregler, S. M. Omohundro, Adv. Neural Info. Proc.
Syst. 7, 973 (1995).
23. G. E. Hinton, M. Revow, P. Dayan, Adv. Neural Info.
Proc. Syst. 7, 1015 (1995).
24. R. Durbin, D. Willshaw, Nature 326, 689 (1987).
25. T. Kohonen, Self-Organisation and Associative Mem-
ory (Springer-Verlag, Berlin, ed. 2, 1988), pp. 119–
157.
26. T. Hastie, W. Stuetzle, J. Am. Stat. Assoc. 84, 502
(1989).
27. M. A. Kramer, AIChE J. 37, 233 (1991).
28. D. DeMers, G. Cottrell, Adv. Neural Info. Proc. Syst. 5,
580 (1993).
29. R. Hecht-Nielsen, Science 269, 1860 (1995).
30. C. M. Bishop, M. Svense ´n, C. K. I. Williams, Neural
Comp. 10, 215 (1998).
31. P. Comon, Signal Proc. 36, 287 (1994).
32. A. J. Bell, T. J. Sejnowski, Neural Comp. 7, 1129
(1995).
33. R. N. Shepard, S. A. Judd, Science 191, 952 (1976).
34. M. Shiffrar, J. J. Freyd, Psychol. Science 1, 257 (1990).
35. R. N. Shepard, Psychon. Bull. Rev. 1, 2 (1994).
36. J. B. Tenenbaum, Adv. Neural Info. Proc. Syst. 10, 682
(1998).
37. T. Martinetz, K. Schulten, Neural Netw. 7, 507 (1994).
38. V. Kumar, A. Grama, A. Gupta, G. Karypis, Introduc-
tion to Parallel Computing: Design and Analysis of
Algorithms (Benjamin/Cummings, Redwood City, CA,
1994), pp. 257–297.
39. D. Beymer, T. Poggio, Science 272, 1905 (1996).
40. Available at www.research.att.com/;yann/ocr/mnist.
41. P. Y. Simard, Y. LeCun, J. Denker, Adv. Neural Info.
Proc. Syst. 5, 50 (1993).
42. In order to evaluate the fits of PCA, MDS, and Isomap
on comparable grounds, we use the residual variance
1 – R2(DˆM, DY). DYis the matrix of Euclidean distanc-
es in the low-dimensional embedding recovered by
each algorithm. DˆMis each algorithm’s best estimate
of the intrinsic manifold distances: for Isomap, this is
the graph distance matrix DG; for PCA and MDS, it is
the Euclidean input-space distance matrix DX(except
with the handwritten “2”s, where MDS uses the
tangent distance). R is the standard linear correlation
coefficient, taken over all entries of DˆMand DY.
43. In each sequence shown, the three intermediate im-
ages are those closest to the points 1/4, 1/2, and 3/4
of the way between the given endpoints. We can also
synthesize an explicit mapping from input space X to
the low-dimensional embedding Y, or vice versa, us-
ing the coordinates of corresponding points {xi, yi} i n
both spaces provided by Isomap together with stan-
dard supervised learning techniques (39).
44. Supported by the Mitsubishi Electric Research Labo-
ratories, the Schlumberger Foundation, the NSF
(DBS-9021648), and the DARPA Human ID program.
We thank Y. LeCun for making available the MNIST
database and S. Roweis and L. Saul for sharing related
unpublished work. For many helpful discussions, we
thank G. Carlsson, H. Farid, W. Freeman, T. Griffiths,
R. Lehrer, S. Mahajan, D. Reich, W. Richards, J. M.
Tenenbaum, Y. Weiss, and especially M. Bernstein.
10 August 2000; accepted 21 November 2000