降维算法——LE算法的推导

LE算法简介及其推导

1.简单介绍

Laplacian Eigenmaps是一种降维算法，它看问题的角度和常见的降维算法不太相同，是从局部的角度去构建数据之间的关系。具体来讲，拉普拉斯特征映射是一种基于图的降维算法，它希望相互间有关系的点（在图中相连的点）在降维后的空间中尽可能的靠近，从而在降维后仍能保持原有的数据结构。

2.推导

拉普拉斯特征映射通过构建邻接矩阵为W（邻接矩阵定义见这里）的图来重构数据流形的局部结构特征。其主要思想是，如果两个数据实例i和j很相似，那么i和j在降维后目标子空间中应该尽量接近。设数据实例的数目为n，目标子空间即最终的降维目标的维度为m。定义n×m大小的矩阵Y，其中每一个行向量$y_i^T$ 是数据实例i在目标m维子空间中的向量表示（即降维后的数据实例i）。我们的目的是让相似的数据样例i和j在降维后的目标子空间里仍旧尽量接近，故拉普拉斯特征映射优化的目标函数如下：
$$min\sum _{i,j}||y_i-y_j|{|}^2{A}_{ij}$$
$$=\sum _{i=1}^n\sum _{j=1}^n||y_i-y_j|{|}^2{A}_{ij}$$
$$=\sum _{i=1}^n\sum _{j=1}^n(y_i^T{y}_i-2y_i^T{y}_j+y_j^T{y}_j)A_{ij}$$
$$=\sum _{i=1}^n(\sum _{j=1}^n{A}_{ij})y_i^T{y}_i+\sum _{j=1}^n(\sum _{i=1}^n{A}_{ij})y_j^T{y}_j-2\sum _{i=1}^n\sum _{j=1}^n{y}_i^T{y}_i{A}_{ij}$$
其中$A_{ij}$为度矩阵，且${\sum }_{j=1}^n{A}_{ij}$和${\sum }_{i=1}^n{A}_{ij}$分别表示节点$i$和$j$的度数，故
$$=2\sum _{i=1}^n{D}_{ii}{y}_i^T{y}_i-2\sum _{i=1}^n\sum _{j=1}^n{y}_i^T{y}_i{A}_{ij}$$
$$=2\sum _{i=1}^n(\sqrt{D_{ij}}{y}_i{)}^T(\sqrt{D_{ij}}{y}_i)-2\sum _{i=1}^n{y}_i^T(\sum _{j=1}^n{y}_j{A}_{ij})$$
$$=strace(Y^{T}DY)-2\sum _{i=1}^n{y}_i^T(YA)$$
$$=2trace(Y^{T}DY)-2trace(Y^{T}AY)$$
$$=2trace[Y^T(D-A)Y]$$
$$=2trace(Y^{T}LY)$$
其中，$D-A=L$，$L$ 为拉普拉斯矩阵。
变换后的拉普拉斯特征映射优化的目标函数如下：
$$mintrace(Y^{T}LY),s.t.Y^{T}AY=I$$
其中限制条件$s.t.Y^{T}LY=I$保证优化问题有解，下面用拉格朗日乘数法对目标函数求解：
$$f(Y)=tr(Y^{T}LY)+tr[\Lambda (Y^{T}DY-I)]$$
$$\frac{\partial f(Y)}{\partial Y}=LY+L^{T}Y+D^{T}Y{\Lambda }^T+DY\Lambda$$
$$=2LY+2DY\Lambda$$
令偏导数等于0，即$LY=-DY\Lambda$
$Ly=\lambda Dy$是一个广义特征值问题。通过求得m个最小非零特征值所对应的特征向量，即可达到降维的目的。

3.步骤

1:构建图
使用某一种方法来将所有的点构建成一个图，例如使用KNN算法，将每个点最近的K个点连上边。K是一个预先设定的值。
2:确定权重
确定点与点之间的权重大小，例如选用热核函数来确定。
3:特征映射
计算拉普拉斯矩阵L的特征向量与特征值：$Ly=\lambda Dy$
使用最小的m个非零特征值对应的特征向量作为降维后的结果输出。