降维系列之 LE 拉普拉斯特征映射

优化目标

接上篇PCA继续写降维。LE也是一种经典的降维方法和流形学习方法。给定样本集$X\in {\mathbb{R}}^{D\times n}$，$D$是样本原始维度，$n$是样本数量，每一列表示一个样本；求解目标是$Y\in {\mathbb{R}}^{d\times n}$，$d$为目标维度，每一列表示一个样本。
与PCA不同的是，LE是一种非线性的方法，它是直接将$Y$求出来，不需要计算投影矩阵。LE首先度量$X$中每两个样本之间的距离权重，组成一个权重矩阵$W$，其第$i,j(i\ne j)$个元素$W_{ij}$定义为：
$$W_{ij}=\{\begin{array}{ccl}exp(-\frac{\Vert x_i-x_j{\Vert }_2^2}{t})& & if\Vert x_i-x_j{\Vert }_2^2<\epsilon \\ 0& & else\end{array}$$

若$i=j$，$W_{ij}$直接置$0$。其中$x_i,x_j$分别表示$X$的第$i,j$个样本，$t,\epsilon$是可调节的参数。可以看出在这种定义中，如果两样本的距离（二范数度量）小于阈值$\epsilon$则赋予一连接权重，并且距离越远权重越小，距离越近权重越大。通过权重矩阵$W$，LE记录了$X$中任意两样本之间的连接关系。
LE希望降完维后各样本仍保持这种邻近关系，原本距离远的点仍然距离较远，原本距离近的点仍然距离较近，因此用已经计算出的$W_{ij}$仍作为$Y$中样本之间的连接权重，并最小化连接的加权和：
$$\underset{Y}{\min }\frac{1}{2}\sum _{i,j=1}^n{W}_{ij}\Vert y_i-y_j{\Vert }_2^2$$

约束条件后面再谈。
显然$y_i,y_j$分别是样本$x_i,x_j$降完维后的结果，是$Y$的第$i,j$列。这就是LE的优化目标。

Lagrangian乘子法求解

下面做推导：
$$\begin{gathered} \frac{1}{2}\sum _{i,j=1}^n{W}_{ij}\Vert y_i-y_j{\Vert }_2^2 \\ =\frac{1}{2}\sum _{i,j=1}^n{W}_{ij}(y_i-y_j{)}^T(y_i-y_j) \\ =\frac{1}{2}\sum _{i,j=1}^n{W}_{ij}(y_i^T{y}_i+y_j^T{y}_j-2y_i^T{y}_j) \\ =\frac{1}{2}\sum _{i,j=1}^n{W}_{ij}(y_i^T{y}_i+y_j^T{y}_j)-\sum _{i=1}^n\sum _{j=1}^n{W}_{ij}{y}_i^T{y}_j \\ =\sum _{i=1}^n{D}_{ii}{y}_i^T{y}_i-\sum _{i=1}^n{y}_i^T\sum _{j=1}^n{W}_{ij}{y}_j \\ =\sum _{i=1}^n{D}_{ii}{y}_i^T{y}_i-\sum _{i=1}^n{y}_i^T(YW{)}_i \\ =tr(YD{Y}^T)-tr(YW{Y}^T) \\ =tr[Y(D-W)Y^T]=tr(YL{Y}^T) \\ s.t.YD{Y}^T=I \end{gathered}$$

其中$D$是度矩阵，是一个对角矩阵，$L=D-W$是拉普拉斯矩阵，$D_{ii}$的值为：
$$D_{ii}=\sum _{j=1}^n{W}_{ij}$$

使用Lagrangian乘子法：
$$L(Y,\lambda )=tr(YL{Y}^T)+tr[\lambda (I-YD{Y}^T)]$$

$\lambda$是个对角矩阵。令偏导为0：
$$\begin{gathered} \frac{\partial }{\partial Y}L(Y,\lambda )=2YL-2\lambda YD=0(L^T=L,D^T=D) \\ L{Y}^T=D{Y}^T\lambda \\ \frac{\partial }{\partial \lambda }L(Y,\lambda )=I-YD{Y}^T=0 \\ YD{Y}^T=I \end{gathered}$$

从$L{Y}^T=D{Y}^T\lambda$可知，$Y^T$的每一列，即$Y$的每一行，都是$L$相对于$D$的广义特征向量（或称为$D^{-1}L$的特征向量），对应的$\lambda$的对角元是对应的特征值。

将$L{Y}^T=D{Y}^T\lambda$代回原式：
$$tr(YL{Y}^T)=tr(YD{Y}^T\lambda =tr(\lambda ))$$

因此就能知道为了让$tr(YL{Y}^T)$最小，等价于让$tr(\lambda )$最小，即要选择最小的$d$个特征值对应的特征向量组成$Y$。

这里还有一个问题，由于$L=D-W$，而$W,L$都是对称矩阵，$L_{ii}$恰好就是$W$的第$i$行元素（或第$i$列元素）之和，因此$L_{ii}$就等于$L$第$i$行其他元素之和。若有向量$e=[1,\cdots ,1{]}^T\in {\mathbb{R}}^D$，则一定有：
$$Le=0\cdot e$$

这告诉我们$0$一定是$D^{-1}L$的一个特征值，对应的特征向量是$e$，无论$X,W$是怎样的。这显然不是我们想要的，因此作为最终解，会选取$D^{-1}L$最小的$d$个非0特征值对应的特征向量组成$Y$。

解法2

如果你和我曾经一样认为Lagrangian乘子法中直接设$\lambda$为对角矩阵不符合Lagrangian乘子法的思想，这里再给另一种解法，这种解法类似于我在PCA这篇文章中给出的$d>1$时的解1.

从这里开始：
$$\begin{gathered} tr(YL{Y}^T) \\ s.t.YD{Y}^T=I \end{gathered}$$

假设$Y\in {\mathbb{R}}^{d\times n}$的第$i$行为$Y^i$，则上式可以另写为如下形式：
$$\begin{gathered} \sum _{i=1}^d{Y}^{i}L(Y^i{)}^T \\ s.t.Y^{i}D(Y^i{)}^T=1,Y^{i}D(Y^j{)}^T=0 \end{gathered}$$

列Lagrangian乘子法：
$$L(Y,\lambda ,\rho )=\sum _{i=1}^d{Y}^{i}L(Y^i{)}^T+\sum _{i=1}^d{\lambda }_i[1-Y^{i}D(Y^i{)}^T]-\sum _{j\ne i}^d{\rho }_j{Y}^{i}D(Y^j{)}^T$$

对$Y^i$求导并令结果为$0$：
$$\frac{\partial }{\partial Y^i}L(Y,\lambda ,\rho )=2L(Y^i{)}^T-2{\lambda }_{i}D(Y^i{)}^T-{\rho }_{j}D(Y^j{)}^T=0$$

因为对${\lambda }_i,{\rho }_i$求导的结果根本就是等式约束，所以这里不赘述。对上式左右同乘$Y^i$：
$$\begin{gathered} 2Y^{i}L(Y^i{)}^T=2Y^i{\lambda }_{i}D(Y^i{)}^T+{\rho }_j{Y}^{i}D(Y^j{)}^T \\ {Y}^{i}L(Y^i{)}^T=Y^i{\lambda }_{i}D(Y^i{)}^T \\ L(Y^i{)}^T={\lambda }_{i}D(Y^i{)}^T \end{gathered}$$

跟前面得到的结果完全一样。我这也算是证明了这两种解法等价呢，嘿嘿。这里面一个关键点在于，我们确信$Y^i$不可能是全0向量，因为那样毫无意义。

总结

推导上比较难想到的一点还是${\sum }_{i=1}^n{\sum }_{j=1}^n{W}_{ij}{y}_i^T{y}_j=tr(YW{Y}^T)$。这个推导告诉我们这样的式子是可以写成简洁形式的。