流形学习t-SNE，LLE，Isomap

作者|Andre Ye 编译|VK 来源|Analytics Indiamag

主成分分析是一种强大的方法，但它往往失败，因为它假设数据可以线性建模。PCA将新的特征表示为现有特征的线性组合，将每个特征乘以一个系数。

为了解决主成分分析的局限性，人们通过对具有不同结构的数据进行应用而产生了各种各样的技术。然而，流形学习寻求一种可以推广到所有数据结构的方法。

不同的数据结构指的是数据中不同的属性。例如，它可能是线性可分的，也可能是非常稀疏的。数据中的关系可以是相切的、平行的、包络的或正交的。PCA在非常特定的数据结构子集上工作得很好，因为它是在线性假设下工作的。

为了把事情放在上下文中，考虑300×300像素的头像。在完美的条件下，每个图像都会完美地居中，但实际上，还需要考虑许多额外的自由度，例如灯光或脸部倾斜。如果我们把一个头像当作90000维空间中的一个点，改变各种效果，比如倾斜头部或朝不同的方向看，会使它在空间中非线性移动，即使它是同一类的同一个物体。

这种数据经常出现在现实世界的数据集中。除此之外，当PCA呈现倾斜分布、极值时，PCA可能会变得很糟糕（参见非线性PCA以获得解决方案）。我们需要一种可推广的降维方法。

流形学习就是指这个任务。流形学习中有许多方法可能是以前见过的，例如t-SNE和局部线性嵌入（LLE）。有许多文章和论文深入到这些算法的技术和数学细节，但这篇文章将集中在一般的直觉和实现上。

注意，虽然有一些维度缩减的变体是有监督的（例如线性/二次判别分析），流形学习通常指的是无监督的降维，其中类别没有提供给算法（虽然可能存在）。

PCA试图创建几个线性超平面来表示维度，就像多元回归构造作为数据的估计，流形学习尝试学习流形，流形是多维空间中光滑的曲面。如下图所示，这些通常是通过对图像进行细微的变换而形成的。

然后，local linear patches可以提取与流形相切的部分。这些patches（补丁）通常有足够的数量，因此可以准确地表示流形。

这些流形不是由任何一个数学函数建模的，而是由几个小的线性补丁&#