局部线性嵌入（Locally Linear Embedding, LLE）

主要思想

LLE将$D$维特征$\mathbf{X}=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_N]\in {\mathbb{R}}^{D\times N}$（${\mathbf{x}}_i\in {\mathbb{R}}^D$）映射到$d(d\ll D)$维空间中（$\mathbf{Y}=[{\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_N]\in {\mathbb{R}}^{d\times N}$），在原始空间$\mathbf{X}$中的点有着局部线性保持的特性，即
$${\mathbf{x}}_i=\sum _{j\in \mathcal{N}(i)}{w}_j{\mathbf{x}}_j$$
其中$\mathcal{N}(i)$表示在原始空间$\mathbf{X}$中${\mathbf{x}}_i$的附近的点，相应的权重为$w_j$，LLE希望在降维后的空间$\mathbf{Y}$中对应的点也有这样的保持关系
$${\mathbf{y}}_i=\sum _{j\in \mathcal{N}(i)}{w}_j{\mathbf{y}}_j$$
所以整个求解思路为：
（1）先求解$w$；
（2）求解降维后的$\mathbf{Y}$。

推导方法

假设已经在原始空间$\mathbf{X}$中构造好了邻近关系$\mathcal{N}(\cdot )$，那么求解$\mathbf{W}=[{\mathbf{w}}_1,\cdots ,{\mathbf{w}}_N]\in {\mathbb{R}}^{N\times N}$（${\mathbf{w}}_{i,j}=0,ifj\notin \mathcal{N}(i)$）的优化目标为
$$\underset{\mathbf{W}}{\mathrm{argmin}}\sum _{i=1}^N{\Vert {\mathbf{x}}_i-\sum _{j\in \mathcal{N}(i)}{\mathbf{w}}_{i,j}{\mathbf{x}}_j\Vert }^2$$
一般来说，希望权重和为1，则对$\forall i$有${\sum }_{j\in \mathcal{N}(i)}{\mathbf{w}}_{i,j}=1$，则上述优化问题可进一步简化
$$\begin{array}{rl}\underset{\mathbf{W}}{\mathrm{argmin}}& \sum _{i=1}^N{\Vert \sum _{j\in \mathcal{N}(i)}{\mathbf{w}}_{i,j}{\mathbf{x}}_i-\sum _{j\in \mathcal{N}(i)}{\mathbf{w}}_{i,j}{\mathbf{x}}_j\Vert }^2\\ \underset{\mathbf{W}}{\mathrm{argmin}}& \sum _{i=1}^N{\Vert \sum _{j\in \mathcal{N}(i)}{\mathbf{w}}_{i,j}\left({\mathbf{x}}_i-{\mathbf{x}}_j\right)\Vert }^2\\ \underset{{\tilde{\mathbf{w}}}_1,{\tilde{\mathbf{w}}}_2,\cdots ,{\tilde{\mathbf{w}}}_N}{\mathrm{argmin}}& \sum _{i=1}^N{\tilde{\mathbf{w}}}_i^T{\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i{\tilde{\mathbf{w}}}_i({\tilde{\mathbf{X}}}_i=\left[{\mathbf{x}}_i-{\mathbf{x}}_j|j\in \mathcal{N}(i)\right]\in {\mathbb{R}}^{D\times |\mathcal{N}(i)|},{\tilde{\mathbf{w}}}_i\in {\mathbb{R}}^{|\mathcal{N}(i)|\times 1})\end{array}$$
正如前所述，还有约束条件 ∀ i ∈ { 1 , 2 , ⋯   , N } \forall i\in\{1,2,\cdots,N\} ∀i∈{1,2,⋯,N}，${\tilde{\mathbf{w}}}_i^T{1}_{|\mathcal{N}(i)|\times 1}=1$，所以最终优化问题为：
arg min ⁡ w ~ 1 , w ~ 2 , ⋯   , w ~ N   ∑ i = 1 N w ~ i T X ~ i T X ~ i w ~ i s . t .   w ~ i T 1 ∣ N ( i ) ∣ × 1 = 1 ,   i ∈ { 1 , 2 , ⋯   , N } \begin{aligned} \argmin\limits_{\widetilde{\mathbf{w}}_1,\widetilde{\mathbf{w}}_2,\cdots,\widetilde{\mathbf{w}}_N}\ &\sum_{i=1}^N{\widetilde{\mathbf{w}}_i^T\widetilde{\mathbf{X}}_i^T\widetilde{\mathbf{X}}_i\widetilde{\mathbf{w}}_i}\\ s.t.\ &\widetilde{\mathbf{w}}_i^T1_{|\mathcal{N}(i)|\times 1}=1,\ i\in\{1,2,\cdots,N\} \end{aligned} w 1​,w 2​,⋯,w N​argmin​ s.t. ​i=1∑N​w iT​X iT​X i​w i​w iT​1∣N(i)∣×1​=1, i∈{1,2,⋯,N}​
引入拉格朗日乘子 λ i ,   i ∈ { 1 , 2 , ⋯   , N } \lambda_i,\ i\in\{1,2,\cdots,N\} λi​, i∈{1,2,⋯,N}
$$\begin{array}{rl}L({\tilde{\mathbf{w}}}_1,{\tilde{\mathbf{w}}}_2,\cdots ,{\tilde{\mathbf{w}}}_N,\lambda )& =\sum _{i=1}^N{\tilde{\mathbf{w}}}_i^T{\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i{\tilde{\mathbf{w}}}_i+\sum _{i=1}^N{\lambda }_i({\tilde{\mathbf{w}}}_i^T{1}_{|\mathcal{N}(i)|\times 1}-1)\\ \partial L({\tilde{\mathbf{w}}}_1,{\tilde{\mathbf{w}}}_2,\cdots ,{\tilde{\mathbf{w}}}_N,\lambda )/\partial {\tilde{\mathbf{w}}}_i& =2{\widetilde{{\mathbf{X}}_i}}^T\widetilde{{\mathbf{X}}_i}{\tilde{\mathbf{w}}}_i+{\lambda }_i{1}_{|\mathcal{N}(i)|\times 1}=0\\ & {\tilde{\mathbf{w}}}_i=-\frac{1}{2}{\lambda }_i({\widetilde{{\mathbf{X}}_i}}^T\widetilde{{\mathbf{X}}_i}{)}^{-1}{1}_{|\mathcal{N}(i)|\times 1}\end{array}$$
再根据${\tilde{\mathbf{w}}}_i^T{1}_{|\mathcal{N}(i)|\times 1}=1$的约束，归一化之后可得
$${\tilde{\mathbf{w}}}_i=\frac{({\tilde{\mathbf{X}}}^T{\tilde{\mathbf{X}}}_i{)}^{-1}{1}_{|\mathcal{N}(i)|\times 1}}{1_{1\times |\mathcal{N}(i)|}({\tilde{\mathbf{X}}}^T{\tilde{\mathbf{X}}}_i{)}^{-1}{1}_{|\mathcal{N}(i)|\times 1}}$$
根据所得结果可以还原$\mathbf{W}\in {\mathbb{R}}^{N\times N}$。下面给出求解$\mathbf{Y}$的优化问题：
$$\begin{array}{rl}\underset{\mathbf{Y}}{\mathrm{argmin}}& \sum _{i=1}^N{\left({\mathbf{y}}_i-\mathbf{Y}{\mathbf{w}}_i\right)}^T\left({\mathbf{y}}_i-\mathbf{Y}{\mathbf{w}}_i\right)\\ \underset{\mathbf{Y}}{\mathrm{argmin}}& \sum _{i=1}^N\left({\mathbf{y}}_i^T{\mathbf{y}}_i+{\mathbf{w}}_i^T{\mathbf{Y}}^T\mathbf{Y}{\mathbf{w}}_i-{\mathbf{y}}_i^T\mathbf{Y}{\mathbf{w}}_i-{\mathbf{w}}_i^T{\mathbf{Y}}^T{\mathbf{y}}_i\right)\\ \underset{\mathbf{Y}}{\mathrm{argmin}}& trace({\mathbf{Y}}^T\mathbf{Y})+trace({\mathbf{W}}^T{\mathbf{Y}}^T\mathbf{YW})-trace({\mathbf{Y}}^T\mathbf{YW})-trace({\mathbf{W}}^T{\mathbf{Y}}^T\mathbf{Y})\\ \underset{\mathbf{Y}}{\mathrm{argmin}}& trace(\mathbf{Y}{\mathbf{Y}}^T)+trace(\mathbf{YW}{\mathbf{W}}^T{\mathbf{Y}}^T)-trace(\mathbf{YW}{\mathbf{Y}}^T)-trace(\mathbf{Y}{\mathbf{W}}^T{\mathbf{Y}}^T)\\ \underset{\mathbf{Y}}{\mathrm{argmin}}& trace(\mathbf{Y}(\mathbb{I}+\mathbf{W}{\mathbf{W}}^T-\mathbf{W}-{\mathbf{W}}^T){\mathbf{Y}}^T)\\ \underset{\mathbf{Y}}{\mathrm{argmin}}& trace(\mathbf{Y}{\mathbf{Y}}^T)+trace(\mathbf{YW}{\mathbf{W}}^T{\mathbf{Y}}^T)-trace(\mathbf{YW}{\mathbf{Y}}^T)-trace(\mathbf{Y}{\mathbf{W}}^T{\mathbf{Y}}^T)\\ \underset{\mathbf{Y}}{\mathrm{argmin}}& trace(\mathbf{Y}(\mathbb{I}-\mathbf{W})(\mathbb{I}-\mathbf{W}{)}^T{\mathbf{Y}}^T)\end{array}$$
为了防止维度的退化且消除尺度大小的影响，引入约束$\mathbf{Y}{\mathbf{Y}}^T=\mathbb{I}$，所以最终的优化问题为：
$$\{\begin{array}{l}\underset{\mathbf{Y}}{\mathrm{argmin}}trace(\mathbf{Y}(\mathbb{I}-\mathbf{W})(\mathbb{I}-\mathbf{W}{)}^T{\mathbf{Y}}^T)\\ s.t.{\mathbf{YY}}^T=\mathbb{I}\end{array}$$
由上可知，最优值$\mathbf{Y}$为矩阵$(\mathbb{I}-\mathbf{W})(\mathbb{I}-\mathbf{W}{)}^T$所对应的最小$d$个特征值对应的特征向量的转置！

而$(\mathbb{I}-\mathbf{W})1_{N\times 1}=0$，则说明$(\mathbb{I}-\mathbf{W})(\mathbb{I}-\mathbf{W}{)}^T$有最小特征值为0的全1特征向量。因此，从倒数第二小的特征值对应的特征向量开始取。