流形学习

流形学习理论详解：http://blog.sciencenet.cn/blog-722391-583413.html

Manifold Learning: ISOMAP

Manifold Learning: LaplacianEigenmap

实现代码：manifold learning matlab code 一个流行学习的matlab代

附上相关知识介绍：信息几何，KL 散度以及流形

假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。

流形学习方法是 模式识别中的基本方法，分为线性流形学习算法和非线性流形学习算法， 非线性流形学习算法包括 等距映射（ Isomap ）， 拉普拉斯特征映射（ LE ）， 局部线性嵌入 (LLE)等。而线性方法则是对非线性方法的线性扩展，如局部保持投影（LPP），邻域保持嵌入（NPE）

 

• 局部线性嵌入（LLE）
• 等距映射（Isomap）
• 拉普拉斯特征映射（Laplacian Eigenmap）
  

局部线性嵌入（LLE）

前提假设：采样数据所在的低维流形在局部是线性的，即每个采样点可以用它的近邻点线性表示。

求解方法：特征值分解。
LLE算法：

1. 计算每一个点Xi的近邻点，一般采用K近邻或者ξ领域。
2. 计算权值Wij，使得把Xi用它的K个近邻点线性表示的误差最小，即通过最小化||Xi-WijXj||来求出Wij.
3. 保持权值Wij不变，求Xi在低维空间的象Yi，使得低维重构误差最小。