表示学习(Representation Learning)(三)——流形学习

关于什么是流形和流形学习(Manifold Learning)，作为一种针对非线性数据的降维方法的算法的研究，有很多优秀的文章博客可以供大家学习，这里贴几篇文章供大家参考看看Manifold Learning | SpringerLink

https://arxiv.org/abs/2011.01307

[Goodfellow et al., 2016] Goodfellow I., Bengio Y., and Courville A. (2016): Deep Learning, MIT Press. (Section 5.11.3)

这里直接介绍三个算法思想：

1)多维缩放模型(Multi-dimensional Scaling (MDS))

2)等距离特征映射模型(Isometric Feature Mapping (ISOMAP))

3)局部线性嵌入模型(Locally Linear Embedding (LLE))

首先我们明确这些算法的目的：

这些算法都是为了实现将处于高纬度的数据集，通过一个函数变换，将原空间的数据映射到低维度空间上，且该映射要做到尽可能保留数据在原空间上点与点的距离关系。

多维缩放模型(Multi-dimensional Scaling (MDS))

给定一个高纬度数据集 ( N个样本，d个特征)的内积距离矩阵 ，其中(可以看出该算法模型的好处，不需要知道原数据的特征信息，只需要获得距离矩阵即可)，接着我们假设一个要求的目标空间p维度(p<d)，则目标空间里点与点(