【流行学习】局部保持投影（Locality Preserving Projections）

最新推荐文章于 2024-07-06 16:33:37 发布

infinite_with

最新推荐文章于 2024-07-06 16:33:37 发布

阅读量3.1k

点赞数 6

分类专栏：机器学习文章标签：流形学习 pca降维

本文链接：https://blog.csdn.net/weixin_45591044/article/details/122900971

版权

机器学习专栏收录该内容

20 篇文章 12 订阅

订阅专栏

一、前言

局部保持投影算法（LPP）主要是通过线性近似LE（Laplacian Eigenmaps），想保留的是高维中的局部信息

二、主要步骤

具体步骤如下所示：

1.确定LPP的目标函数： $\min \frac{1}2\sum_{i, j}(y_{i}-y_{j})^{2} s_{i j}$

其中 $y_i$ 表示的是降维后的任意数据点 $i$ ， $y_j$ 表示的是降维后的任意数据点不包含 $i$ 。
其中 $s_{ij}$ 表示的是原始空间中 $i, j$ 之间的距离权重系数组成的矩阵。距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高，采用全连接法高斯核计算公式如下：
$s_{i j}=e^{-\frac{\left\|x_{i}-x_{j}\right\|_{2}^{2}}{2 \sigma^2}}$
2.目标函数优化：

$\begin{aligned} &\frac{1}2\sum_{i=1}^{n} \sum_{j=1}^{n}\left(y_{i}-y_{j}\right)^{2} s_{i j} \\ &=\frac{1}2\sum_{i=1}^{n} \sum_{j=1}^{n}\left(y_{i}^2-2 y_{i} y_{j}+y_{j}^2\right) s_{i j} \\ &= \sum_{i=1}^{n} D_{i i} y_{i}^2- \sum_{i=1}^{n} \sum_{j=1}^{n} y_{i} y_{j} s_{i j} \\ &=Y^{T} L Y \end{aligned}$
其中 $S$ 是图的邻接矩阵，对角矩阵 $D$ 是图的度矩阵( $D_{ii}=\sum_{j=1}^{n} s_{i j}$ )， $L = D - S$ 成为图的拉普拉斯矩阵。

假设 $α$ 是变换矩阵，令 $Y^T=W^TX$

则目标函数转换为：
$\begin{aligned} &\frac{1}2\sum_{i=1}^{n} \sum_{j=1}^{n}\left(y_{i}-y_{j}\right)^{2} W_{i j} \\ &= W^TXLX^TW \end{aligned}$
该目标存在平凡零解： $W = O_{m ∗ d}$ ，此时L取最小值0，出现维度坍缩，所有样本映射到同一个点上，此解无意义

当W不取零矩阵时，由于没有添加尺度约束，在降维子空间一定（组成基向量方向一致）情况下，当尺度不断变小时，目标L会同时变小，无限趋于0，不存在最小值

因此，考虑对最小化目标变形为：
$\frac{Y^TLY}{Y^TDY}=\frac{W^TXLX^TW}{W^TXDX^TW}$
为了防止消除任意的缩放因子（为了防止过拟合的现象），添加尺度归一条件:
$Y^TDY=1\to α^TXDX^Tα=1$

变换后的拉普拉斯特征映射优化的目标函数如下：
$\argmin_{W} W^TXLX^TW, \quad \text { s.t. } W^TXDX^TW=I$

其中限制条件 ${ s.t. } W^TXDX^TW=I$ 保证优化问题有解。

3.拉格朗日乘子法求解:
$\begin{aligned} &L=W^TXLX^TW+\Lambda(W^TXDX^TW-I)\\ &\frac{\partial L}{\partial W}=2XLX^TW−2XDX^TWΛ=0\\\\ &\therefore XLX^TW=XDX^TWΛ\\ &(XDX^T)^{−1}XLX^TW=WΛ \end{aligned}$
$W$ 由 $XDX^T)^{−1}XLX^TW$ 的特征向量作为列向量构成，且为了最小化目标函数，选取的特征向量应该是最小m个特征值对应的特征向量降维后的结果输出。

变换矩阵： $W = [ w_1,w_2 , . . . , w_m ]$ 由 $XDX^T)^{−1}XLX^TW$ 最小m个特征向量构成

三、LPP与PCA区别

3.1. PCA的核心是通过投影矩阵A将高维数据降成低维数据，实现数据沿该坐标系的分布方差最大化，能够实现最大化保持数据的全局结构特性，其目标函数如下：
$\argmin{W}=tr(W^TXX^TW), \quad \text { s.t. } W^W=I$

构建的拉格朗日乘式解： $XX^TXX^TW=XX^TW\Lambda$
与LLP的解 $XLX^TW=XDX^TW\Lambda$ 对比，等价于是当 $L=X^TX且D=I$ 的特例
3.2. PCA可以看成是一种特殊的LPP，区别在与LPP跟关注局部的信息和关系，而PCA关注的是全局方差信息

四、流程总结

由样本矩阵X构建权重矩阵S，度矩阵D，拉普拉斯矩阵L
求 $XDX^T)^{−1}XLX^TW$ 的特征向量，取最小m个作列向量构成变换矩阵 $W$
由 $Y=W^TX$ 完成降维

infinite_with

关注

6
点赞
踩
34

收藏

觉得还不错? 一键收藏
0
评论
【流行学习】局部保持投影（Locality Preserving Projections）

一、前言局部保持投影算法（LPP）主要是通过线性近似LE（Laplacian Eigenmaps），想保留的是高维中的局部信息二、主要步骤具体步骤如下所示：1.确定LPP的目标函数：min⁡12∑i,j(yi−yj)2sij\min \frac{1}2\sum_{i, j}(y_{i}-y_{j})^{2} s_{i j}min21i,j∑(yi−yj)2sij其中yiy_iyi表示的是降维后的任意数据点iii，yjy_jyj表示的是降维后的任意数据点不包含iii。其中sijs
复制链接

扫一扫

专栏目录