局部线性嵌入（Locally Linear Embedding，简称LLE）

局部线性嵌入（Locally Linear Embedding，简称LLE）

1 绪论

与Isomap试图保持邻域内样本之间的距离不同，局部线性嵌入（Locally Linear Embedding，LLE）试图保持邻域内样本之间的线性关系。其根本思想可以概括为局部线性重构。

假定样本点$x_i$的坐标能够通过它的邻域样本$x_j,x_k,x_l$进行线性组合而重构出来，即：$x_i=w_{i,j}{x}_j+w_{i,k}{x}_k+w_{i,l}{x}_l$。LLE算法希望这种关系在低维空间中得到保持。

2 LLE算法解析

LLE先为每个样本$x_i$找到其近邻下标集合$Q_i$，然后计算出基于$Q_i$中的样本点对$x_i$进行线性重构的系数$w_i$：
$$\underset{w_1,w_2\dots w_m}{\min }\sum _{i=1}^m{\Vert \begin{array}{c}{x}_i-{\sum }_{j\in Q_i}{w}_{ij}{x}_i\end{array}\Vert }_2^2$$
$$s.t.\sum _{j\in Q_i}{w}_{ij}=1$$
其中$x_i$和$x_j$为已知，令$C_{j}k=(x_i-x_j{)}^T(x_i-x_k)$，$w_{ij}$有闭式解
$$w_{ij}=\frac{{\sum }_{k\in Q_i}{C}_{jk}^{-1}}{{\sum }_{l,s\in Q_i}{C}_{ls}^{-1}}$$
其中$C_{jk}$刻画了$x_k$到$x_i$的差向量，与$x_j$到$x_i$的差向量的内积。$w_{ij}$刻画了这些内积中，与$x_j$相关的内积的比例。

LLE在低维空间中保持$w_i$不变，于是$x_i$对应的低维空间坐标$z_i$可通过下式求解：
$$\underset{z_1,z_2\dots z_m}{\min }\sum _{i=1}^m{\Vert \begin{array}{c}{z}_i-{\sum }_{j\in Q_i}{w}_{ij}{z}_i\end{array}\Vert }_2^2$$
令$Z=(z_1,z_2,\dots ,z_m)\in {\mathbb{R}}^{d^{\prime }\times m},W_{ij}=w_{ij}$，
$$M=(I-W{)}^T(I-W)$$
此式可重写为：
$$\underset{Z}{\min }tr(ZM{Z}^T)$$
$$s.t.Z{Z}^T=I$$
则可通过特征值分解求解：$M$最小的$d^{\prime }$个特征值对应的特征向量组成的矩阵$Z^T$。

3 LLE伪码说明

4 以瑞士卷例子来展示LLE算法

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
import mpl_toolkits.mplot3d as p3d
from sklearn import datasets, manifold
from sklearn.datasets import make_swiss_roll

def test_swiss_roll(n_samples=5000):
	X, t = make_swiss_roll(n_samples=n_samples, noise=0.2, random_state=42) # X为坐标 t为颜色
	# figure1=plt.figure()
	axes = [-11.5, 14, -2, 23, -12, 15]	
	fig = plt.figure()
	ax = fig.add_subplot(121, projection='3d')
	ax.scatter(X[:, 0], X[:, 1], X[:, 2], c=t, cmap=plt.cm.hot)
	ax.view_init(10, 60)
	ax.set_xlabel("$x$", fontsize=18)
	ax.set_ylabel("$y$", fontsize=18)
	ax.set_zlabel("$z$", fontsize=18)
	ax.set_xlim(axes[0:2])
	ax.set_ylim(axes[2:4])
	ax.set_zlim(axes[4:6])
	plt.title('3D swiss roll')
	ax2 = fig.add_subplot(122)
	Z = manifold.LocallyLinearEmbedding(n_components=2).fit_transform(X)
	ax2.scatter(Z[:, 0], Z[:, 1], c=t, cmap=plt.cm.hot)
	plt.title('sklearn LLE')
	plt.show()

if __name__ == '__main__':
	test_swiss_roll()

程序运行可见：https://aistudio.baidu.com/aistudio/projectdetail/2507328