数据降维算法isomap mds

动机：
考虑pca在瑞士卷数据上的应用，有以下几个缺点
1.pca降维需要的维数比流形的维数更高
2.pca不能够捕捉曲线的维度

不适用储存欧几里得距离，我们使用测地线距离，获得真实的非线性几何的真实曲线维度。
允许看到沿着流行的转换，因此是全局结构

怎么能够找到测地距离呢？
在流行中的两个数据点之间的测地距离是 沿着流形的最短的距离

真实的测地距离是不能够找到的，除非我们知道真正的流形

isomap分为三个步骤
1.构建权重图
可以通过knn算法或者半径球构建图，这个是欧几里得距离，因为我们要通过欧几里得距离近似真实的测地距离
2.然后通过最短路径算法构建距离矩阵D，这个距离矩阵Dij代表i和j的最短距离，（通过dijkstra或者Flody算法得到），
3.然后对矩阵D进行MDS降维

MDS算法
假设有数据矩阵D
1.中心化D=-1/2HDH
2.分解D=V diag(N) V^T
X=V diag(N) ^(1/2)