Manifold Algorithms

最新推荐文章于 2022-03-26 17:57:03 发布

一只在努力的菜鸡

最新推荐文章于 2022-03-26 17:57:03 发布

阅读量475

点赞数 1

本文链接：https://blog.csdn.net/weixin_42148236/article/details/82847698

版权

1. PCA

2. MDS：Multi-dimensinal Scaling

介绍：
1. 目的：PCA的会让pairwise距离改变，MDS不会！
2. 一个同样天天被吐槽（和PCA一样）的线形的不能发现non linear结构的而且速度很慢的算法。
3. 和PCA的不同在于PCA处理的是XXT（X=D*N，result=D*k），MDS处理的是XTX（同样，X=D*N，result=k*N），所以PCA让点变少，而MDS让点数不变，维度降低。
4. 他的理论基础在于，如果给定了点和点之间的pairwise distance，那么我们可以确定他的几何结构是没有改变的，这里几何结构的定义是他们的内积。所以目的变成了让向量内积尽量保持不变。（希望M保持不变，就求M矩阵的eigenvector！PCA我们希望variance不变，所以M=协方差矩阵=XXT，所以求了XXT的eigenvector）
5. 这里在数学上类似SVD
算法：
1. G=XTX = N*N
2. LAMBDA = lambda1到lambdak的对角阵，从高到低排列
3. [phi 1, …, phi k]是对应的特征向量
  1. [y1, …, yn] = LAMBDA^(1/2)[phi1, …, phik]^T = k*N
超参数：无

3. Isomap

介绍：就是把MDS的输入，从两个点之间的距离（MDS没有使用两个点的距离，而是直接使用了内积。）MDS首先计算矩阵D（N*N），Dij代表Di和Dj之间的用自己的方法计算的距离，再把D变成内积形式，也就是MDS的输入从原来的G=XTX变成了G'=DTD。
算法：
1. 建立图谱（KNN or Epsilon）
2. 计算pairwise distance, 最短路径法
3. MDS
超参数：K（KNN的K）（或者Epsilon里面的Epsilon）

4. LLE

介绍：Isomap使用了点和点之间的基于knn的最短路径（长度）表示了intrinsic geometric properties of neighborhood, 那么LLE使用了weights（点和点之间的weights）表示了intrinsic geometric properties of neighborhood。二者都希望这个character保持不变。
算法：
1. 建立knn／Epsilon图谱
2. 计算W = argmin_w {sum_i ||xi - \sum_j xjWij|| ^2}
  1. 如果在同一个类里，如果不在同一个类里，=0.
  2. 对于i，所有的Wij的和=1.，就是每个点的所有neighbor的weight和=1.
3. 计算[y1,…,yn] = argmin_[y1,…,yn] {sum_i || yi - \sum_j yjWij||^2}
重要的理论基础（文邹邹）：
1. The same weights that reconstruct the data points in D dimensions should also reconstruct the points in d dimensions.
2. The weights characterize the intrinsic geometric properties of each neighborhood.
超参数：K（knn）／Epsilon（Epsilon）

5. MVU （Maximum Variance Unfolding ）

6. Laplacian Eigenmap

7. t-SNE （t-Distributed Stochastic Neighbor Embedding）

- 介绍：

让最可能选取在同一个cluster里面的点最相似，最相似的点最可能出现在同一个cluster里。
所以涉及两个指标：
1. 最可能选取在同一个cluster里面：
  1. 假设xi的neighbor都是从xi的高斯density center选取的, 所以对于i来说，所有的Pij的合=1

- 超参数：对于每个点i，i对应的高斯分布（P）的sigma！

- 文绉绉的总结：

t-SNE constructs a probability distribution over pairs of high- dimensional objects such that:
similar objects have a high probability of being picked,
1. dissimilar points have an extremely small probability of
  being picked.
t-SNE defines a similar probability distribution over the points in the low-dimensional map, and it minimizes the Kullback–Leibler divergence between the two distributions with respect to the locations of the points in the map.

8. 总结