流形学习---LLE（局部线性嵌入算法）

1，流形及其流形学习
流形：一类特殊的连通Hausdorff仿射空间
流形的本质：局部可坐标化的拓扑空间，可以看作是欧氏空间的非线性推广
流形学习的本质：当样本空间为一个高维光滑流形时，要从样本数据中学习这个高维流形的内在几何结构或内在规律，得到对应的低维数据集，实际也就是非线性降维。
2.流形学习的主要算法
（1）基于全局的方法，如等距映射（ISOMAP）
（2）基于局部的方法，如局部线性嵌入算法（LLE）
3.LLE算法主要分为三步：
（1）求k个近邻的过程，这个过程使用了和KKN算法一样的求最近邻的方法
（2）对每个样本求它在邻域里的k个近邻的线性关系，得到线性关系的权重系数w
（3）利用权重系数在低维里重构样本数据

4.局部线性嵌入算法（LLE）优点
（1）只考虑近距离点，因此无需要求流形对应的低维空间的子集为凸集；
（2）计算对象是多项式数量级的系数矩阵，计算复杂度远远小于全局方法。

参考文献；
[1]高小方.流形学习方法中的若干问题分析.山西大学计算智能与中文处理教育部实验室.
[2]刘建平.局部线性嵌入原理总结.博客园.