【机器学习】【降维】局部保持投影（LPP Locality Preserving Projections）

局部保持投影（LPP）

论文：《Locality Preserving Projections》作者：何小飞（2003）

所谓流形，是指高维样本空间中呈现的一种低维的局部性的结构。局部保留投影(LPP)方法是通过构建空间中各样本对之间的远近亲疏关系，并在投影中保持这种关系，在降维的同时保留空间中样本的局部邻域结构， 即在低维空间中最小化近邻样本间的距离加权平方和，也可以理解为尽量避免样本集的发散，保持原来的近邻结构。

一、摘要：

   LPP应该被视为PCA的替代方法。PCA是一种经典的线性技术，他沿着最大方差的方向投影数据。当高维数据位于嵌入外围空间的低维流形上是，通过求流行上 Laplace Beltrami算子特征函数的最优特征逼近，得到局部保持投影。因此，LPP具有许多非线性技术的数据表示特征，如拉普拉斯特征映射或局部线性嵌入。

注：PCA可见本人另外一篇文章： 【机器学习】【降维】PCA主成分分析

二、主要思想

   LPP构建了一个包含数据集领域信息的图。利用图的拉普拉斯变换概念，计算了一个将数据点映射到子空间的变换矩阵。
   这种线性变换再一定意义上最优的保留了局部的领域信息。该算法生成的表示映射可以看作是对流行的几何性质的自然产生的连续映射的线性离散近似。

三、算法步骤

给定$x_1,x_2,...,x_m$ in $R^n$,找到变换矩阵$A$把这$m$个点映射到$y_1,y_2,...y_m$ in $R^l(l<<n)$。其中$y_i=A^T{x}_i。$

1、构造邻接图

注：
  第一种是使用kesail球的形式寻找，也就是两点之间的欧氏距离满足于小于某一约束就认定满足条件，这种方式kesail的取值难以把握
  第二种是直接计算$x_i与x_i$之外所有点的欧氏距离，然后进行排序，找到距离最近的k个点。这种比较方便，使用matlab的find函数可容易找到

2、选择权重

$W_{ij}$ in $R^{m\ast m}$是稀疏对称矩阵，包括顶点$i和j$的边权重。如果是0，则表示顶点$i和j$之间没有边连接

注：
  （a）就是热核函数，目的是，如果$x_i与x_j$的欧氏距离较大，对应的$W_{ij}$就越小。反之，欧氏距离越小对应的$W_{ij}$就越大
  （b）相当于如果$x_j是x_i$的k近邻，那么$W_{ij}$就等于1，不论$x_j$（$x_j$泛指$x_i$的k近邻，并不是一个实际的点）中的点与$x_i$的距离多远或多近，$W_{ij}$都为1.这样就不能很好的区分。
  举例，一维数据点{1，2，10，20}，那么对于2的2近邻来说就是1和10，但是明显1对2比10对2的距离要近，
  如果按照（a）,那么$W_{12}>W_{32}$,
  如果按照（b）,那么$W_{12}=W_{32}$,
所以在一般使用的时候，一般使用（a）的热核函数的方式

3、计算投影矩阵
$$XL{X}^T\alpha =\lambda XD{X}^T\alpha$$
 其中$D$是对角矩阵，对角线上的元素值是对于$W$的行（或列，因为$W$对称）的和。$D_{ii}={\sum }_j{W}_{ji}$。$L=D-W$是拉普拉斯矩阵。

四、算法详解

LPP是通过线性近似LE算法（拉普拉斯特征映射）来保留局部信息。

给定一个数据集，我们构造一个加权图$G(V,E)$，表示任意两顶点的连接情况。现在来看一下这个问题，把权重矩阵$G$映射为一条线以便于相互连接的点尽可能保持很靠近，令$y=(y_1,y_2,...,y_m{)}^T$为这个映射。一个合理的选择"好"的映射的标准是在某些限制条件下最小化以下目标函数：$$\sum _{ij}(y_i-y_j{)}^2{W}_{ij}$$

注：在高维空间中，数据点$x_i和x_j$是什么关系，在降维后的空间中，数据点$y_i和y_j$就是什么关系。$(y_i-y_j{)}^2$表示任意两个点的欧氏距离。

如果$x_i和x_j$离的比较远（不是近邻关系），这时$W_{ij}=0$，因此上面的式子就是最小的0。
如果如果$x_i和x_j$离的比较近（是近邻关系），这时$W_{ij}$比较大，所以要保证$y_i和y_j$也要里的近，才能使式子最小。

假设$\alpha$是变换矩阵，那么$y^T={\alpha }^{T}X$，
$$\begin{gathered} \frac{1}{2}\sum _{ij}(y_i-y_j{)}^2{W}_{ij} \\ =\frac{1}{2}\sum _{ij}({\alpha }^T{x}_i-{\alpha }^T{x}_j{)}^2{W}_{ij} \\ =\frac{1}{2}\sum _{ij}({\alpha }^T{x}_i{x}_i^T\alpha +{\alpha }^T{x}_j{x}_j^T\alpha -2{\alpha }^T{x}_i{x}_j^T\alpha )W_{ij} \\ =\sum _i{\alpha }^T{x}_i{D}_{ii}{x}_i^T\alpha -\sum _{ij}{\alpha }^T{x}_i{W}_{ij}{x}_j^T\alpha \\ ={\alpha }^{T}X(D-W)X^T\alpha \\ ={\alpha }^{T}XL{X}^T\alpha \end{gathered}$$
其中$D$提供了对数据点的自度量，$D$中最大的值$D_{ii}$所对应的$y_i$就是最重要的。

为防止消除任意的缩放因子，施加如下限制$$y^{T}Dy=1⟹{\alpha }^{T}XD{X}^T\alpha =1$$

最后的目标函数为：$$\begin{gathered} argmi{n}_{\alpha }{\alpha }^{T}XL{X}^T\alpha \\ s.td.{\alpha }^{T}XD{X}^T\alpha =1 \end{gathered}$$

利用拉格朗日乘子法：
$$XL{X}^T\alpha =\lambda XD{X}^T\alpha$$

参考 https://blog.csdn.net/qq_39187538/article/details/90402961