流形学习介绍之LLE&ISOMAP
流形学习介绍
PCA对于一个流形数据学习的结果
LLE(局部嵌入学习)对于一个流形数据学习的结果
PCA不能反映流形结构的数据,LDA是一种对于监督学习的分类的训练方式,所以需要用到流形学习算法。
流形学习的主要思想
假设数据是均匀采样于一个高维欧式空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,并求出相应的嵌入映射,以实现维数约简或数据可视化。它是从观测到的现象中去寻找事物的本质或内在规律。
局部线性嵌入LLE的主要算法
局部线性嵌入是一种非线性降维算法,它能够使降维后的数据能较好地保持原有流形结构。LLE可以说是流形学习方法最经典的工作之一。
注意:LLE在有些情况下并不适用,如果数据分布在整个封闭的球面上,LLE则不能将它映射到二维空间,且不能保持原有的数据流形。那么我们在处理数据中,首先假设数据不是分布在闭合的球面或椭球面上。
LLE算法思想
首先假设数据在较小的局部是线性的(局部线性性),即某个数据可以由它邻域中的几个样本来线性表示。
目标:降维后上述等式依然近似成立
LLE算法步骤
ISOMAP等距映射算法
用局部线性逼近整体的非线性结构
邻近点:直接计算邻近点间的欧氏空间距离
远距离的点:计算邻近点之间的最短距离连接成的序列(根据流形中的全局非线性和局部线性属性)。
主要思想
- 构建邻接图G
用KNN最近邻居算法对高维数据构建一个稀疏图,如果是该点的邻居,则添加一条边,两点之间的距离则为欧氏距离。
-计算所有点之间的最短路径
- 映射到低维空间中
Mds算法
方法比较
LLE:计算迅速,效果相对于Isomap较差
Isomap:计算较慢,效果较好