流形学习LLE LE Isomap总结

哒哒哒小朋友

于 2023-07-19 18:39:30 发布

阅读量160

点赞数

文章标签：学习

本文链接：https://blog.csdn.net/qq_48372575/article/details/131814503

版权

LLE

1、根据欧式距离得到最近邻的K个点

2、根据 $min \left \| xi -\sum_{j=1}^{k}wij*xj\right \|_{2}^{2}$ 公式，由拉格朗日乘子得出， $wi = \frac{zi^{-1}1_{k}}{1_{k}^{T}zi^{-1}1_{k}}$ ，其中 $zi = (xi-xj)(xi-xj)^{T}$

3、根据高维空间得到的权重关系 $wi$ ，在低维空间保留此权重关系，因此根据公式 $min \left \| yi -\sum_{j=1}^{k}wij*yj\right \|_{2}^{2}$ ，由拉格朗日乘子可计算得出 $(I-W)(I-W)^{T}$ 的2~d+1个最小的特征值所对应的特征向量组成了Y

具体的推导证明过程可参考：局部线性嵌入(LLE)原理总结 - 刘建平Pinard - 博客园 (cnblogs.com)

LE

1、根据欧氏距离得到最近邻的K个点

2、根据公式 $wij = e^{\frac{\left \| xi-xj \right \|_{2}^{2}}{2\sigma ^{2}}}$ 得到关系矩阵W，为了保证W是对称矩阵，令 $W = \frac{1}{2}(W+W^{T})$

3、根据公式 $min \sum_{i,j}wij\left \| yi-yj \right \|_{2}^{2}$ ， $di = \sum_{j=1}^{k}wij , i=1...n$ , $D = diag(d1,..,dn)$ ,计算得出D-W的2~d+1个最小的特征值所对应的特征向量组成了Y

Isomap

1、通过欧氏距离计算k个近邻的点到该点的距离，不是前k个近邻的点到该点的距离记为无穷大，由此得到邻近关系矩阵

2、通过floyd的方法，得到所有点对之间的最短路径，由此得到的两点之间的测地距离关系矩阵记为D

3、调用MDS的方法得到降维后的坐标Z

MDS

1、根据公式 $dij^{2} = \left \| zi-zj \right \|^{2}$ ,可求出内积矩阵 $B= Z^{^{T}}Z = -\frac{1}{2}(\frac{1}{N^{2}} \sum_{i=1}^{N}\sum_{j=1}^{N}dij^{2}-\frac{1}{N}\sum_{i=1}^{N}dij^{2}-\frac{1}{N}\sum_{j=1}^{N}dij^{2}+dij^{2})$ ，对B进行特征分解，可得到特征值 $\sigma$ 和特征向量p，由此可得到 $Z= \sigma ^{\frac{1}{2}}p$

2、也可以引入 $H=I-\frac{1}{n}ee^{T},e=(1,..,1)^{T},c=(\left \| z1 \right \|_{2}^{2},...,\left \| zn \right \|_{2}^{2})^{T}$ ,计算得出 $B = H^{T}BH$ ，因此根据公式 $dij^{2} = \left \| zi-zj \right \|^{2} = \left \| zi \right \|^{2}+\left \| zj \right \|^{2}-2zizj$ 可以得出， $D= ce^{T}+c^{T}e-2B$ , 可计算得出 $B = -\frac{1}{2}H^{T}DH$ ，对B进行特征分解，可得到特征值 $\sigma$ 和特征向量p，由此可得到 $Z= \sigma ^{\frac{1}{2}}p$