浅谈局部线性嵌入（LLE）的数学原理

数学系列是本人学习笔记，水平有限，错误在所难免，还请读者不吝指正

Nonlinear Dimensionality Reduction by Locally Linear Embedding

简介

局部线性嵌入（LLE）利用非监督学习方法来将高维网络数据嵌入到低维空间中，并在该低维空间中保留网络节点间的邻域信息。区别于局部降维的聚类方法，LLE将网络节点映射到一个统一的低维空间坐标系统中，并且该方法的优化不依赖局部最小值。利用线性重构的局部对称性，LLE 能够学习非线性流形（nonlinear manifold）的全局结构，例如由人脸数据或文本文档生成的流形。

符号规定

大写粗体（例如 $\mathbf{X}$）表示矩阵
小写粗体（例如 $\mathbf{x}$）表示向量
大写字母（例如 $D$）表示常量
小写字母（例如 $i$）表示变量

算法原理

LLE 的提出是基于简单的几何直觉。假设我们基于某种潜在的流形取样，得到的数据有 $N$ 个实数向量 ${\mathbf{x}}_{\mathbf{i}}$，每个向量有 $D$ 个维度。假如数据量足够，使得取样的数据在流形上均匀分布，那么每个数据点和他的近邻应该集中分布在流形上一个局部的区域内。我们假设在这个局部区域内的点，都可以被其邻居点线性重构出来。LLE 的算法可以分为如下的步骤：

为每个数据点 ${\mathbf{x}}_i$ 寻找欧式距离相近的点。在近邻点的选取上有两种策略，一种是选取固定数目的近邻点，另一种是划定一个邻域，选取在邻域内的点。LLE 采取的是前者，即选取固定的 $k$ 个近邻点。

利用近邻点的线性组合来表示点 ${\mathbf{x}}_i$ $${\mathbf{x}}_i=\sum _j^k{\mathbf{w}}_i^j{\mathbf{x}}_i^j$$ 请注意这里的上标不是幂次而是向量的分量，即 ${\mathbf{w}}_i^j$ 表示向量 ${\mathbf{w}}_i$ 的第 $j$ 个分量，${\mathbf{x}}_i^j$ 表示向量 ${\mathbf{x}}_i$ 的第 $j$ 个分量。我们需要求出所有的权重向量 ${\mathbf{w}}_i,i=1,2,\dots ,N$。那么怎样的 ${\mathbf{w}}_i$ 才是最优的呢？自然而然的，我们肯定是希望 ${\mathbf{x}}_i$ 近邻点的线性组合能够尽可能的接近它，这样，我们就是在寻找能够使得近邻点和 ${\mathbf{x}}_i$ 的欧式距离，也就是使 $$ϵ(\mathbf{w})=\sum _i^N||{\mathbf{x}}_i-\sum _j^k{\mathbf{w}}_i^j{\mathbf{x}}_i^j|{|}_2^2$$ 最小的 $\mathbf{w}$，为了计算方便，LLE 还要求对每一个 ${\mathbf{x}}_i$，都有 ${\sum }_j^k{\mathbf{w}}_i^j=1$ 。为了方便计算，我们先看一个点 ${\mathbf{x}}_{\mathbf{i}}$ 和其近邻点 ${\mathbf{x}}_i^1,{\mathbf{x}}_i^2,\dots ,{\mathbf{x}}_i^k$ 的距离，因为有 ${\sum }_j^k{\mathbf{w}}_i^j=1$，所以 ${\mathbf{x}}_i={\mathbf{x}}_i{\sum }_j^k{\mathbf{w}}_i^j={\sum }_j^k{\mathbf{w}}_i^j{\mathbf{x}}_i$，那么 $$\begin{array}{rl}ϵ(\mathbf{w})& =\sum _i^N||{\mathbf{x}}_i-\sum _j^k{\mathbf{w}}_i^j{\mathbf{x}}_i^j|{|}_2^2\\ & =\sum _i^N||\sum _j^k{\mathbf{w}}_i^j{\mathbf{x}}_i-\sum _j^k{\mathbf{w}}_i^j{\mathbf{x}}_i^j|{|}_2^2\\ & =\sum _i^N||\sum _j^k{\mathbf{w}}_i^j({\mathbf{x}}_i-{\mathbf{x}}_i^j)|{|}_2^2\end{array}$$ 令 $$\begin{array}{rl}{\mathbf{X}}_i& =\left[\begin{array}{c}{\mathbf{x}}_i-{\mathbf{x}}_i^1,{\mathbf{x}}_i-{\mathbf{x}}_i^2,\cdots ,{\mathbf{x}}_i-{\mathbf{x}}_i^k\end{array}\right]\\ {\mathbf{w}}_i& =\left[\begin{array}{c}{w}_i^1\\ w_i^2\\ ⋮\\ w_i^k\end{array}\right]\\ 1& =(\underset{k个}{\underbrace{1,1,\cdots ,1}})\end{array}$$ 则 $$\begin{array}{rl}ϵ(\mathbf{w})& =\sum _1^N||{\mathbf{X}}_i{\mathbf{w}}_i|{|}_2^2\\ & =\sum _1^N{\mathbf{w}}_i^T{\mathbf{X}}_i^T{\mathbf{X}}_i{\mathbf{w}}_i\end{array}$$ 且 $$1\mathbf{w}=1$$ 则我们有优化问题 $$\begin{gathered} \underset{w}{\min }\sum _i^N{\mathbf{w}}_i^T{\mathbf{X}}_i^T{\mathbf{X}}_i{\mathbf{w}}_i \\ s.t.{1\mathbf{w}}_i=1 \end{gathered}$$

设$$\begin{array}{rl}f(\mathbf{w})& =\frac{1}{2}\sum _i^N{\mathbf{w}}_i^T{\mathbf{X}}_i^T{\mathbf{X}}_i{\mathbf{w}}_i\\ g(\mathbf{w})& ={1\mathbf{w}}_i\end{array}$$ 给 $f(\mathbf{w})$ 乘上 $1/2$ 是为了求导的时候消去系数，不影响最后的结果。据此，我们来构造拉格朗日函数（关于拉格朗日乘子法，请参考 浅谈拉格朗日乘子法的数学推导 ） $$\begin{array}{rl}\mathfrak{L}(\mathbf{w},\lambda )& =f(\mathbf{w})+\lambda (g({\mathbf{w}}_i)-1)\\ & =\frac{1}{2}\sum _i^N{\mathbf{w}}_i^T{\mathbf{X}}_i^T{\mathbf{X}}_i{\mathbf{w}}_i+\lambda ({1\mathbf{w}}_i-1)\end{array}$$分别对 $\mathbf{w}$ 和 $\lambda$ 求偏导置零，我们已知有矩阵求导公式 $$\begin{array}{rl}\frac{\partial \mathbf{y}\mathbf{x}}{\partial \mathbf{x}}& ={\mathbf{y}}^T\\ \frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}& =(\mathbf{A}+{\mathbf{A}}^T)\mathbf{x}\end{array}$$ 则 $$\begin{array}{rl}\frac{\partial \mathfrak{L}(\mathbf{w},\lambda )}{\partial {\mathbf{w}}_i}& =\frac{1}{2}(2{\mathbf{X}}_i^T{\mathbf{X}}_i){\mathbf{w}}_i+\lambda 1^T\\ & =({\mathbf{X}}_i^T{\mathbf{X}}_i){\mathbf{w}}_i+\lambda 1^T\\ & =0\\ \frac{\partial \mathfrak{L}(\mathbf{w},\lambda )}{\partial \lambda }& ={1\mathbf{w}}_i-1=0\end{array}$$ ${\mathbf{X}}_i$ 是已知量，通过上面两式可计算出 ${\mathbf{w}}_i$ 及 $\lambda$。若 ${\mathbf{X}}_i^T{\mathbf{X}}_i$ 可逆，设 ${\mathbf{L}}_i={\mathbf{X}}_i^T{\mathbf{X}}_i$，则$${\mathbf{w}}_i=-\lambda {\mathbf{L}}_i^{-1}{1}^T$$ 又因为 ${1\mathbf{w}}_i=1$，所以 $$\lambda =-\frac{1}{{1\mathbf{L}}_i^{-1}{1}^T}$$ 将上式代入 ${\mathbf{w}}_i=-\lambda {\mathbf{L}}_i^{-1}{1}^T$，得 $${\mathbf{w}}_i=-\frac{{\mathbf{L}}_i^{-1}{1}^T}{{1\mathbf{L}}_i^{-1}{1}^T}$$

这样定义的权重 $\mathbf{w}$ 有一个重要的性质，对于任何特定的点 ${\mathbf{x}}_i$，当对该点和其邻居点所组成的空间进行进行旋转、伸缩或者平移时，$\mathbf{w}$ 保持恒定。这是因为 $\mathbf{w}$ 描述了 ${\mathbf{x}}_i$ 可由其邻居节点线性组合重构而成的这种关系，对该点和其邻居点所组成的空间进行进行旋转、伸缩或者平移相当于对线性方程组$${\mathbf{x}}_i=\sum _j^k{w}_i^j{\mathbf{x}}_j$$ 进行各种线性变换（该线性方程组中 ${\mathbf{x}}_i$ 和 ${\mathbf{x}}_j$ 是已知量，$w_i^j$ 是需要求解的未知量）而方程组的线性变换并不影响方差组的解。我们可以看出 $\mathbf{w}$ 的定义不依赖于任何第三方的参照物，所以 $\mathbf{w}$ 描述了一点和其邻居节点内在的几何关系。这样的话，当我们将数据点嵌入到更低维度的 $d$ 维空间中（$d\ll D$）时，$\mathbf{w}$ 仍然保持不变。据此，我们可以计算数据点映射到低维空间之后的坐标。
假设我们将所有的 $\mathbf{x}$ 映射到维度为 $d(d\ll D)$ 的低维空间，我们用 $\mathbf{y}$ 来代表映射后的点，类似的，我们需要使得 $$\varphi (\mathbf{w})=\sum _i^N||{\mathbf{y}}_i-\sum _j^k{w}_i^j{\mathbf{y}}_j|{|}_2^2$$ 最小。和我们计算 $ϵ(\mathbf{w})$ 类似，但是现在 $\mathbf{w}$ 变成了已知量，而点 $\mathbf{y}$ 则成为了未知量。设 $$\begin{array}{rl}\mathbf{Y}& =\left(\begin{array}{c}{\mathbf{y}}_1\\ {\mathbf{y}}_2\\ ⋮\\ {\mathbf{y}}_N\end{array}\right)\\ \mathbf{W}& =\left[\begin{array}{cccc}{w}_{11}& w_{12}& \cdots & w_{1N}\\ w_{21}& w_{22}& \cdots & w_{2N}\\ ⋮& ⋮& \ddots & ⋮\\ w_{N1}& w_{N2}& \cdots & w_{NN}\end{array}\right]\\ \mathbf{I}& =\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & 0\\ 0& 0& \cdots & 1\end{array}\right]\end{array}$$ 这里为了计算方便，我们把 $\mathbf{W}$ 设成 $N\times N$ 的矩阵，每一行代表一个点 ${\mathbf{y}}_i$ 相邻节点的权重，那么 ${\mathbf{y}}_i$ 的相邻节点只有 $k$ 个，但我们每一行有 $N$ 个 权重 $w$，为了解决这个矛盾，只需要将不是 ${\mathbf{y}}_i$ 相邻节点的权重置为 $0$ 即可。这样，可得 $$\begin{array}{rl}\varphi (\mathbf{y})& =\sum _i^N||{\mathbf{y}}_i-\sum _j^k{w}_i^j{\mathbf{y}}_j|{|}_2^2\\ & =\sum _i^N||{\mathbf{I}}_i\mathbf{Y}-{\mathbf{W}}_i\mathbf{Y}|{|}_2^2\\ & =||(\mathbf{I}-\mathbf{W})\mathbf{Y}|{|}_F^2\\ & =tr({\mathbf{Y}}^T(\mathbf{I}-\mathbf{W}{)}^T(\mathbf{I}-\mathbf{W})\mathbf{Y})\end{array}$$ 令 $\mathbf{M}=(\mathbf{I}-\mathbf{W}{)}^T(\mathbf{I}-\mathbf{W})$，则有$$\varphi (\mathbf{y})=tr({\mathbf{Y}}^T\mathbf{M}\mathbf{Y})$$ 设 $$\mathbf{Y}=\left[\begin{array}{cccc}{\beta }_{11}& {\beta }_{12}& \cdots & {\beta }_{1N}\\ {\beta }_{21}& {\beta }_{22}& \cdots & {\beta }_{2N}\\ ⋮& ⋮& \ddots & ⋮\\ {\beta }_{N1}& {\beta }_{N2}& \cdots & {\beta }_{NN}\end{array}\right]$$也即 ${\mathbf{y}}_i=({\beta }_{i1},{\beta }_{i2},\cdots ,{\beta }_{iN})$ 则 $$\varphi (\mathbf{y})=tr(\left[\begin{array}{cccc}{\beta }_{11}& {\beta }_{21}& \cdots & {\beta }_{N1}\\ {\beta }_{12}& {\beta }_{22}& \cdots & {\beta }_{N2}\\ ⋮& ⋮& \ddots & ⋮\\ {\beta }_{1N}& {\beta }_{2N}& \cdots & {\beta }_{NN}\end{array}\right]\mathbf{M}\left[\begin{array}{cccc}{\beta }_{11}& {\beta }_{12}& \cdots & {\beta }_{1N}\\ {\beta }_{21}& {\beta }_{22}& \cdots & {\beta }_{2N}\\ ⋮& ⋮& \ddots & ⋮\\ {\beta }_{N1}& {\beta }_{N2}& \cdots & {\beta }_{NN}\end{array}\right])$$ 令 ${\mathbf{z}}_i=({\beta }_{1i},{\beta }_{2i},\cdots ,{\beta }_{Ni})$，经过计算我们会发现 $$\begin{array}{rl}\varphi (\mathbf{y})& =tr(\left[\begin{array}{cccc}{\mathbf{z}}_1^T{\mathbf{M}\mathbf{z}}_1& & & \\ & {\mathbf{z}}_2^T{\mathbf{M}\mathbf{z}}_2& & \\ & & \ddots & \\ & & & {\mathbf{z}}_N^T{\mathbf{M}\mathbf{z}}_N\end{array}\right])\\ & =\sum _i^N{\mathbf{z}}_i^T{\mathbf{M}\mathbf{z}}_i\\ & =\sum _i^N{\mathbf{z}}_i^H{\mathbf{M}\mathbf{z}}_i\text{ (zi 为实数向量，ziH=ziT) }\end{array}$$ 为了方便计算，我们要求 ${\mathbf{Y}}^T\mathbf{Y}=\mathbf{I}$。

可以证明，$\mathbf{M}$ 为厄米特矩阵（Hermitian Matrix）。这是因为，$${\mathbf{M}}^T=((\mathbf{I}-\mathbf{W}{)}^T(\mathbf{I}-\mathbf{W}){)}^T=(\mathbf{I}-\mathbf{W}{)}^T(\mathbf{I}-\mathbf{W})=\mathbf{M}$$ 而 $\mathbf{M}$ 又是实数矩阵，所以 ${\mathbf{M}}^{\ast }=\mathbf{M}$（${\mathbf{M}}^{\ast }$ 表示 $\mathbf{M}$ 的共轭矩阵）,因此 ${\mathbf{M}}^H=\mathbf{M}$。观察 $\varphi (\mathbf{y})$，${\mathbf{z}}_i^H{\mathbf{M}\mathbf{z}}_i$ 正是瑞利商（Rayleigh quotient）${\mathbf{z}}_i^H{\mathbf{M}\mathbf{z}}_i/{\mathbf{z}}_i^H\mathbf{z}$ 的分子。又因为 ${\mathbf{Y}}^T\mathbf{Y}=\mathbf{I}$，所以 ${\mathbf{z}}_i^H\mathbf{z}=1$。根据瑞利定理（Rayleigh theorem），$\mathbf{M}$ 的特征向量即是函数 $R(\mathbf{z})={\mathbf{z}}^H\mathbf{M}\mathbf{z}$ 的驻点，而对应的特征值即是 $R(\mathbf{z})$ 在该点的值。因此，如果我们求使得 $\varphi (\mathbf{y})$ 最小的 $\mathbf{y}$，我们首先设定低维空间的维数 $d$，令 $d\ll D$，只需要求出 $\mathbf{M}$ 所有的特征值，并将特征值从小到大排列，选取前 $d$ 个特征值及其对应的特征向量，即可求得映射到低维空间的坐标 $\mathbf{Y}$（关于瑞利商和瑞利定理，请参考 瑞利商及瑞利定理 ）。

参考资料

1. Sam T. Roweis and Lawrence K. Saul, Nonlinear Dimensionality Reduction by Locally Linear Embedding, SCIENCE VOL 290
2. https://zhuanlan.zhihu.com/p/47304678
3. 周志华，机器学习，清华大学出版社
4. 南瓜书，https://datawhalechina.github.io/pumpkin-book/