局部线性嵌入LLE

[1]https://www.cnblogs.com/pinard/p/6266408.html
[2]Graph Embedding Techniques, Applications, and Performance: A Survey
主要参考和图片来源[1]

局部线性嵌入(Locally Linear Embedding,LLE)，一种重要降维方法，与PCA、LDA相比，更注重保持样本局部线性特征，常用语图像识别、高维数据可视化等。

数学意义上的流形：一个不闭合曲面，曲面上数据分布均匀，特征比较稠密，流形降维就是把流形从高维到低维的降维过程，并在降维中保留流形高维的特征。

我的理解：数据分布于高维的一个曲面，流行学习就是将这个曲面降维展开表达出来

LLE
LLE假设数据在较小的局部是线性的，即样本$x_1$可以由K个近邻样本$x_2,x_3,x_4$线性表示

$$x_1=w_{12}x_2+w_{13}x_3+w_{14}x_4$$
则希望降维之后依然保持这种线性关系
$$x_1' \approx w_{12}x_2'+w_{13}x_3'+w_{14}x_4'$$
由于只考虑了局部线性关系，所以复杂度低很多

LLE推导

首先设定邻域大小k，然后寻找某个样本与近邻样本的线性关系，即权重系数。
假设有m个n维样本$\{x_1,x_2,...,x_m\}$，则有损失函数

$$J(w)=\sum_{i=1}^{m}\|x_i-\sum_{j=1}^{k}w_{ij}x_j\|^2_2$$
对权重系数有归一化限制
$$\sum_{j=1}^k w_{ij}=1$$
对损失函数矩阵化

J(W)