非线性降维--流形学习

流形就是很多曲面片的叠加，它在局部具有有欧式空间的性质。“流形学习”是一种非线性的维数约简方法。

流形学习降维：就是找到一个从流形到欧式空间的映射

经典方法:

1. 等距映射(Isomap)
2. 局部线性嵌入(LLE)
3. 拉普拉斯特征映射(LE)

1.ISOMAP

主要思想：希望在映射过程中保持流形上测地线的距离不变

测地距离

测地距离是沿流形上的两点最短距离，而欧式距离是两点最短的那个直线距离。如下图可见。

测第距离的计算：

思想：构造邻接图，用图上的最短距离来近似测地距离

在流形结构未知的情况下，要根据有限的数据采样来估算流形上的测地距离。利用流形在局部上与欧式空间同胚这个性质，对每个点基于欧式距离找出其近邻点，然后就能建立一个近邻连接图。计算图中两点之间的最短距离，作为测地距离的近似值。计算邻接图中的距离，可以采用用Dijkstra或者Floyd算法。（一中不太准确理解，通过局部近邻点之间的距离，局部线性化，这些近邻点的距离之和即为测第距离）

算法

1. 通过近邻点，计算近邻点的欧式距离。
2. 通过最短路径算法，得到距离矩阵。
3. 通过MDS（Multiple Dimension Scaling）使用 MDS 计算映射后的坐标 ?，使得映射坐标下的欧氏距离与原来的测地线距离尽量相等

$$\underset{y}{\min }\sum _{i,j}(d_M(x_i,y_i)-||y_i-y_j||{)}^2$$

注：

Isomap得到的是训练样本在低维空间的坐标，对于新的样本，如何将其映射到低维空间呢？这个问题，是通过以训练样本的高维空间坐标维输入，低维空间坐标维输出，训练一个回归学习器来实现对新样本的低维空间坐标预测。

优点

相比与LLE，isomap保持了更多的信息。

缺点

Isomap 是一种全局方法，要考虑任意两点之间的关系，计算速度慢。随着数据点数量的增多而爆炸性增长，从而使得计算难以负荷。不适用与大数据。

2.LLE

主要思想：流形在局部是线性的，即每个采样点可以用它的近邻点线性表示。保持权值不变，求在低维空间中的像。

例如,$x_i$有三个近邻点，那么$x_i=w_{i1}{x}_1+w_{i2}{x}_2+w_{i3}{x}_3$

算法

1. 为每个样本$x_i$找到其近邻集合$Q_i$， 一般采用K 近邻或者$ϵ$邻域.

2. 基于$Q_i$中的样本点，计算对$x_i$进行线性重构的重构系数$w_{ij}$
   $$\begin{gathered} \underset{w_1,w_2,\cdots ,w_m}{\min }\sum _{i=1}^m||x_i-\sum _{j\in Q_i}{w}_{ij}{x}_j|| \\ s.t.\sum _{j\in Q_i}{w}_{ij}=1 \end{gathered}$$

3. 在低维空间中，保持重构系数$w_{ij}$
   $$\underset{z_1,z_2,\cdots ,z_m}{\min }\sum _{i=1}^m||z_i-\sum _{j\in Q_i}{w}_{ij}{z}_j|{|}_2^2$$

LLE作为一种局部方法，保存的信息量小于isomap。但是因其计算量小，在大数据发展的今天，开始受到越来越多的重视。

优缺点

优点：

1. LLE算法可以学习任意维的局部线性的低维流形.
2. LLE算法中每个点的近邻权值在平移, 旋转,伸缩变换下是保持不变的.
3. LLE算法有解析的整体最优解,不需迭代.
4. LLE算法归结为稀疏矩阵特征值计算, 计算复杂度相对较小, 容易执行.

缺点：

1. LLE算法要求所学习的流形只能是不闭合的且在局部是线性的.
2. LLE算法要求样本在流形上是稠密采样的.
3. LLE算法对样本中的噪音很敏感.

3.LE

主要思想：在高维空间中离得很近的点投影到低维空间中的象也应该离得很近。

算法

1. 从样本点构建一个近邻图, 图的顶点为样本点, 离得很近两点用边相连 (K近邻或$ϵ$邻域)
2. 给每条边赋予权值 如果第 个点和第 j 个点不相连，权值为0 ，否则为$w_{ij}=1$
3. 求解特征向量方程，??=??，将点??映射到$(y_1(i),\cdots ,y_d(i))$，L是近邻图上的拉普拉斯算子，