流形学习笔记（一）

最近看了流形学习的一些资料，整理一些笔记包括自己的一些理解。

一.流行学习基本概念

流行学习在2000年以后被认为是非线性降维的一个分支。关于流行学习是什么，下面的这个说法我觉得是讲的比较清楚易懂的：

流形学习本质在于根据有限的离散样本学习和发现嵌入在高维空间中的低维光滑流形，从而揭示隐藏在高维数据中的内在低维结

构，以实现非线性降维或者可视化。我的理解是通过某种算法将高维空间中的数据映射到低维空间中。

二.数据降维

学习降维算法之前，首先得弄清楚的问题是为什么需要进行数据降维。

现实世界中的数据比如数码照片，语音信号等往往都具有很高的维度。例如假设对一张512*512的图片用向量机进行分类，直接做法将图片按行或者按列展开成长度为512*512的 输入向量。但若是能够在保留有用信息的情况下，将向量的维数下降到200或更低，就能很大程度的缩小存储空间同时也缩短了计算时间。还有一点则是高维空间的数据很有可能会出现分布稀疏的情况，很容易出现维数灾难的问题，也就是高维空间中样本稀疏的问题。如100个样本分布在100维空间中肯定是非常稀疏的，数据降维可以缓解这种问题。

其次需弄清的便是为什么可以降维。

这主要是因为数据有冗余，有些可能是没用的信息，而有些则可能是重复的信息。例如一张图片是中心对称的，那么对称的部分就是重复信息。在正确降维后，一般可保留原始数据大部分有用信息，因此它完全可以代替原始数据去进行后续的工作，从而大大的降低了计算量。