机器学习-无监督学习4

流形学习介绍之LLE&ISOMAP

流形学习介绍

PCA对于一个流形数据学习的结果

LLE（局部嵌入学习）对于一个流形数据学习的结果

PCA不能反映流形结构的数据，LDA是一种对于监督学习的分类的训练方式，所以需要用到流形学习算法。

流形学习的主要思想

假设数据是均匀采样于一个高维欧式空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，并求出相应的嵌入映射，以实现维数约简或数据可视化。它是从观测到的现象中去寻找事物的本质或内在规律。

局部线性嵌入LLE的主要算法

局部线性嵌入是一种非线性降维算法，它能够使降维后的数据能较好地保持原有流形结构。LLE可以说是流形学习方法最经典的工作之一。

注意：LLE在有些情况下并不适用，如果数据分布在整个封闭的球面上，LLE则不能将它映射到二维空间，且不能保持原有的数据流形。那么我们在处理数据中，首先假设数据不是分布在闭合的球面或椭球面上。

LLE算法思想
首先假设数据在较小的局部是线性的（局部线性性），即某个数据可以由它邻域中的几个样本来线性表示。

目标：降维后上述等式依然近似成立

LLE算法步骤

ISOMAP等距映射算法

用局部线性逼近整体的非线性结构
邻近点：直接计算邻近点间的欧氏空间距离
远距离的点：计算邻近点之间的最短距离连接成的序列（根据流形中的全局非线性和局部线性属性）。

主要思想

• 构建邻接图G
  用KNN最近邻居算法对高维数据构建一个稀疏图，如果是该点的邻居，则添加一条边，两点之间的距离则为欧氏距离。
  
  -计算所有点之间的最短路径
  
• 映射到低维空间中
  
  Mds算法

方法比较


LLE：计算迅速，效果相对于Isomap较差
Isomap：计算较慢，效果较好