流形学习——局部线性嵌入算法LLE

LLE原理

局部线性嵌入（Locally Linear Embedding, LLE）是无监督非线性降维算法，是流行学习的一种。

LLE和Isomap一样试图在降维过程中保持高维空间中的流形结构。Isomap把任意两个样本点之间的测地距离作为流形结构的特征，而LLE认为局部关系刻画了流形结构。

LLE认为，在高维中间中的任意一个样本点和它的邻居样本点近似位于一个超平面上，所以该样本点可以通过其邻居样本点的线性组合重构出来。

我们假设共有$N$个样本点。可以根据欧式距离或者其他相似性度量为每个样本点$x_i\in \mathbb R^d$找到$K$个邻居，用$\eta_{i_k}$表示$x_i$的第$k$个邻居点。重构误差为

$$J(W)=\sum_{i=1}^N ||x_i-\sum_{k=1}^K w_{ik}\eta_{i_k}||^2 \tag{1}$$

其中$w_{ik}$表示在重构$x_i$时的第$k$个邻居的权重系数。把所有的重构系数放在矩阵$W\in \mathbb R^{N\times K}$中，它的第$i$行元素表示重构$x_i$时的邻居系数。

为了得到$W$，求解最小化问题

$$\begin{align} \min_W & \quad J(W) \\\\ s.t. & \quad \sum_{k=1}^K w_{ik}=1, i=1,2,\cdots, N. \\\\ \end{align} \tag{2}$$

为了使得流形结构在低维空间中得以保持，LLE要求低维空间中的样本点仍能保持上面的局部线性关系。假设$x_i$在低维空间中的映射为$y_i\in \mathbb R^{d'}$，令$Y=[y_1, y_2, \cdots, y_N]$。$Y$可以通过下面的优化问题进行求解：

$$\begin{align} \min_Y & \quad \sum_{i=1}^N ||y_i-\sum_{j=1}^N w_{ij} y_j||^2 \\\\ s.t. & \quad \frac{1}{N}\sum_{i=1}^N y_i y_i^T = I . \\\\ \end{align} \tag{3}$$

注意，这里的$w_{ij}$和前面的$w_{ik}$不完全一样，表示在低维空间中重构第$i$个样本点时，第$j$个样本点的权重。相应的矩阵$W\in \mathbb R^{N\times N}$可以由上面的$W$构造出来。为了不引起混淆，我们把后者重新写作$W'$。当$j$样本点是$i$样本点的邻居时，$w_{ij}$等于$W'$中对应的那个权重值；否则$w_{ij}=0$。后面会统一称作$W$，根据上下文确定到底是哪个。

两个优化问题的求解

上面两个优化问题都可以直接得到最优解的解析式。

高维空间中的优化问题

有两种方法可以推出优化问题（2）的最优解。

方法一

令$w_i$表示矩阵$W$的第$i$行元素，$N_i = [\eta_{i1}, \eta_{i2}, \cdots, \eta_{iK}] \in \mathbb R^{d \times K}$，则

$$\begin{align} J(W)&=\sum_{i=1}^N||x_i-N_i w_i^T||^2 \\\\ &=\sum_{i=1}^N(x_i-N_i w_i^T)^T(x_i-N_i w_i^T) \\\\ &=\sum_{i=1}^N(x_i^Tx_i - 2x_i^TN_i w_i^T + w_i N_i^T N_i w_i^T) \end{align}.$$

由于第一项和$W$无关，所以目标函数等价于

$$J(W)=\sum_{i=1}^N(- 2x_i^TN_i w_i^T + w_i N_i^T N_i w_i^T). \tag{4}$$

构建拉格朗日函数

$$L(W, \lambda) = \sum_{i=1}^N(- 2x_i^T N_i w_i^T + w_i N_i^T N_i w_i^T) + \sum_{i=1}^N\lambda_i (w_i 1 - 1),$$

求导得到：

∂L∂wi=−2xTiNi+2wiNTiNi+λi1T=0