几种流形学习算法

• 局部线性嵌入（LLE）
• 等距映射（Isomap）
• 拉普拉斯特征映射（Laplacian Eigenmap）
  

局部线性嵌入（LLE）

前提假设：采样数据所在的低维流形在局部是线性的，即每个采样点可以用它的近邻点线性表示。

求解方法：特征值分解。
LLE算法：

1. 计算每一个点Xi的近邻点，一般采用K近邻或者ξ领域。
2. 计算权值Wij，使得把Xi用它的K个近邻点线性表示的误差最小，即通过最小化||Xi-WijXj||来求出Wij.
3. 保持权值Wij不变，求Xi在低维空间的象Yi，使得低维重构误差最小。

多维尺度变换（MDS）

• MDS是一种非监督的维数约简方法。
• MDS的基本思想：约简后低维空间中任意两点间的距离应该与它们在原高维空间中的距离相同。
• MDS的求解：通过适当定义准则函数来体现在低维空间中对高维距离的重建误差，对准则函数用梯度下降法求解，对于某些特殊的距离可以推导出解析法。

等距映射（Isomap）

基本思想：建立在多维尺度变换（MDS）的基础上，力求保持数据点的内在几何性质，即保持两点间的测地距离。

前提假设：

• 高维数据所在的低维流形与欧氏空间的一个子集是整体等距的。
• 与数据所在的流形等距的欧氏空间的子集是一个凸集。

核心：
估计两点间的测地距离：

• 离得很近的点间的测地距离用欧氏距离代替。
• 离得较远的点间的测地距离用最短路径来逼近。

拉普拉斯特征映射（Laplacian Eigenmap）

基本思想：在高维空间中离得很近的点投影到低维空间中的象也应该离得很近。
求解方法：求解图拉普拉斯算子的广义特征值问题。

http://blog.sina.com.cn/s/blog_4fb7d89201000a77.html