流形学习中使用到的一些概念

流形学习中使用到的一些概念

流形学习 假设所处理的数据点分布在嵌入于外维欧式空间的一个潜在的流形体上，或者说这些数据点可以构成这样一个潜在的流形体。

• Manifold - Many+Fold，许多曲面片的叠加。
• 欧几里得性质 - 是局部具有欧几里得空间性质的空间，是欧几里得空间中的曲线、曲面等概念的推广。具体内容可以参考维基百科的讲解。

---

介绍流形

流形学习 认为我们所能观察到的数据实际上是由一个低维流形映射到高维空间上的。由于数据内部特征的限制，一些高维中的数据会产生维度上的冗余，实际上只需要比较低的维度就能唯一地表示。
流形学习方法是模式识别中的基本方法，分为线性流形学习算法和非线性流形学习算法，线性方法就是传统的方法如主成分分析（PCA）和线性判别分析（LDA）。非线行流形学习算法包括等距映射（Isomap），局部线性嵌入（LLE）、拉普拉斯特征映射（LE）等。

降维

对于拥有很多特征的数据而言，它所在空间的维度可能很高，但是特征之间并不是完全独立的，它们之间会有一些关联性，比如描述房屋的特征中的面积和卧室的数量往往是有着紧密的联系的，那么在在具体的描述房屋时，我们就可以选择丢弃其中一个，但基本上不影响表达的准确性。因此，我们认为数据在高维空间中是有冗余的，而在低维空间是没有冗余的，通过流行学习我们就可以找到数据在低维空间中的关键特征，这样就减小了处理的难度，又保留了数据的大部分重要的信息，原理可以类比PCA。
因为流形是在局部与欧式空间同胚的空间，即它在局部具有欧式空间的性质，能用欧式距离进行距离的计算。例如我们的地球就是一个二维的流形，但是在局部可以认为是欧式空间。

主成分分析（Principal Component Analysis，PCA）

PCA属于投影的一种，那么什么是投影？在很多问题中，我们得到的训练数据往往是高维数据集，同时数据不是在每一个维度均匀分布的，很多的特征之间有着一定的关联。因此可以说高维的数据空间近似于受一个低得多的低维子空间所影响，所以我们可以将高维的数据投影到一个和它相关联的低维的子空间中，尽可能的保留数据之间的信息，又方便我们使用。
在PCA中我们寻找类似于SVM中分类的那个最优的超平面，但要使得数据点距离超平面足够的近，满足最近重构性，；又要使得在超平面上的投影尽可能分开，满足最大可分性。根据在SVM中的思想，我们需要找到一个标准来衡量我们超平面的选择，根据PCA对超平面的要求，我们可以从两个角度思考这个问题

• 最近重构性
  在线性回归中我们希望在二维平面的数据集中，找到一条直线可以很好的拟合数据，同时又要防止过拟合。那里通常使用的衡量标准是均方误差，可以使用最小二乘法求得闭式解，也可以通过梯度下降法求得结果。它衡量是预测值和真实值之间的差距，在PCA中没有这个需求，但同样可以借鉴这种思想，我们可以使用点到直线的距离来判断是否满足最近重构性。
• 最大可分性
  要使投影后的图满足最大可分性，即使得投影到直线上的点距离就要尽量的远，也可以说数据在某一个轴上的投影方差最大。

PCA求解

• 使用特征向量的协方差求解
  假设$X$是$m\ast n$的矩阵，$m$表示测量类型数，$n$表示样本数，我们的目标就是找到最优的$P$，使得$Y=PX$,得到它的协方差矩阵
  $$C_Y=\frac{1}{n-1}Y{Y}^T$$
  则$P$的行就是$X$的主成分。

• 使用SVD求解PCA
  关于SVD可见奇异值分解，根据公式求解即可。
  步骤如下：

1. 将数据集整理成一个$m\ast n$的矩阵，其中$m$是测量的类型数，$n$是样本的数量；
2. 将每一种类型的$X_i$减去它们的均值，进行规范化；
3. 计算SVD，得到主成分。

等度量映射（Isometric Mapping，Isomp）

根据前面的叙述前面我们知道，直接在高维的空间中计算直线距离有时是不可行的，因为两点之间距离最短的路径在低维空间中有时是不可达的。在低维流形中计算的是代表两点之间本真距离的“测地线距离”，那么如何在高维空间中正确的计算两点之间的最短距离呢？
借助高维流形的局部和欧式空间同胚的性质，我们可以将整体细分为很多的局部，在局部寻找每一个点基于欧式距离的近邻点，那么就可以建立一个高维流形的近邻连接图。这样两点之间最短距离的计算就转换成了近邻连接图中两点之间的最短路径，而图的最短路径的求解，我们可以直接使用Dijkstra算法或是Floyed算法。

Isomap的算法流程

1. 在输入空间$X$一对数据点$i,j$，根据距离$d_x(i,j)$找到在高维流形$M$的邻域上的近邻点，而近邻点的选择可以根据设定的计算距离的阈值$ϵ$或是近邻点的最大个数$K$；
2. 通过计算$G$中$i$和$j$之间的最短路径$d_G(i,j)$来计算高维流形$M$上两个点之间的测地线距离$d_M(i,j)$；
3. 将MDS应用到图距离矩阵$D_G(d_g(i,j))$中，构造在$d$维欧式空间$Y$中的数据嵌入，通过最小化代价函数$E={\Vert \tau \left(D_G\right)-\tau \left(D_Y\right)\Vert }_{L^2}$来选择$Y$中点的坐标向量$y_i$，使其能最好的保留高维流形固有的几何结构。

Isomap的特点

• 不同于PCA、MDS只能应用于线性降维，Isomap可以发现高维流形中复杂的非线性的低维嵌入空间
• Isomap算法是全局的，它要找到所有样本全局的最优解，当数据量很大时或者样本维度很高时，计算量非常大
• Isomap可以保证渐进的收敛到真实的结构，即使高维流形是很复杂的几何结构，Isomap依然可以保证产生全局最优的低维表示
• 当数据中含有噪声足够多时，Isomap会出现拓扑不稳定的现象，此时得到的低维嵌入空间并不能正确的反映高维流形的结构
• 缺点是当数据中的噪声较多时，高维流形的拓扑就会变得不稳定。

局部线性嵌入（Locally Linear Embedding，LLE）

LLE的基本思想是试图保持邻域内样本之间的线性关系，希望从高维空间映射到低维空间后，各邻域内的样本之间的线性关系不发生改变，从而希望可以从局部的线性结构恢复全局的非线性结构。

LLE首先假设数据在较小的局部是线性的，也就是说，某一个数据可以由它邻域中的几个样本来线性表示。比如我们有一个样本$x_1$,我们在它的原始高维邻域里用K-近邻思想找到和它最近的三个样本$x_2,x_3,x_4$。 然后我们假设$x_1$可以由$x_2,x_3,x_4$线性表示，即：
$$x_1=w_{12}{x}_2+w_{13}{x}_3+w_{14}{x}_4$$
　其中$w_{12},w_{13},w_{14}$为权重系数。在我们通过LLE降维后，我们希望$x_1$在低维空间对应的投影${x_1}^{’}$和$x_2,x_3,x_4$对应的投影$x_2^{’},x_3^{’},x_4^{’}$也尽量保持同样的线性关系，即
$$x_1\prime \approx w_{12}{x}_2\prime +w_{13}{x}_3\prime +w_{14}{x}_4\prime$$
也就是说，投影前后线性关系的权重系数$w_{12},w_{13},w_{14}$是尽量不变或者最小改变的。
　从上面可以看出，线性关系只在样本的附近起作用，离样本远的样本对局部的线性关系没有影响，因此降维的复杂度降低了很多。关于该算法的推导可参考链接。

LLE优缺点总结

• 主要优点

1. 可以学习任意维的局部线性的低维流形。
2. 算法归结为稀疏矩阵特征分解，计算复杂度相对较小，实现容易。
3. 可以处理非线性的数据，能进行非线性降维。

• 主要缺点

1. 算法所学习的流形只能是不闭合的，且样本集是稠密的。
2. 算法对最近邻样本数的选择敏感，不同的最近邻数对最后的降维结果有很大影响。

矩阵流形

黎曼流形 是一种局部具有欧氏空间性质的特殊拓扑空间，是欧氏空间中的曲线、曲面等概念的推广。可以说：在$N$维的流形$M$中，其中的每一个点$p$的邻域是同胚的。
常见黎曼流形有球体(Sphere)、正交群(Orthogonal group)、施蒂费尔流形( Stiefel manifold)、格拉斯曼流形(Grassmann manifold)以及对称正定矩阵流形(Symmetric Positive Definite, SPD manifold)。

施蒂费尔流形

施蒂费尔流形 由所有$d\times p(0<p<d)$的半正交矩阵张成的黎曼流形称为施蒂费尔流形$S(p,d)$，即$S(p,d)\triangleq \left\{\mathbf{X}\in {\mathbb{R}}^{d\times p}:X^{T}X={\mathbf{I}}_p\right\}$，其中Ip表示大小为$d\times p$的单位矩阵。.
格拉斯曼流形可以定义为施蒂费尔流形的带有等价类操作的商流形(Quotient Manifold)。这一等价类操作是$X_1\sim X_2$当且仅当$Span(X_1)=Span(X_2)$,其中$Span(X)$表示由$X\in S(p,d)$张成的线性子空间。

格拉斯曼流形

格拉斯曼流形 由所有在${\mathbb{R}}^d$上的$p$维线性子空间张成的黎曼流形称为格拉斯曼流形$G(p,d)$。
在格拉斯曼流形$G(p,d)$上，两个切向量${\Delta }_1,{\Delta }_2$在点$Span(X)\in G(p,d)$上的切空间的内积可以表示为$({\Delta }_1,{\Delta }_2)$。这-黎曼结构导出了在格拉斯曼流形的测地距离(也就是流形上两点之间的最短曲线的长度，表示为
$${\delta }_g\left({\mathbf{X}}_1,{\mathbf{X}}_2\right)=\mathrm{tr}\left({\Delta }_1^T\left({\mathbf{I}}_d-\frac{1}{2}\mathbf{X}{\mathbf{X}}^T\right){\Delta }_2\right)=tr({\Delta }_1^T{\Delta }_2)$$
这一测地距离可以看作是一个线性子空间旋转到另一个线性子空间的最小旋转幅度。令$\Theta =\left[{\theta }_1,{\theta }_2,\dots ,{\theta }_p\right]$为两个线性子空间$Span(X_1),Span(X_2)$之间的主夹角序列(详见以下主夹角定义)，那么它们之间的测地距离为:
$${\delta }_g\left({\mathbf{X}}_1,{\mathbf{X}}_2\right)=\Vert \Theta {\Vert }_2$$
主夹角 假定$X_1$和$X_2$为两个大小为$d\times p$的正交基矩阵，那么两个线性子空间$Span(X_1),Span(X_2)$之间的主夹角$0\le \theta 1\le ...\le \theta ,\le \pi /2$可以递归地定义成:
$$\begin{array}{rl}\cos \left({\theta }_i\right)& =\underset{u_i\in \mathrm{span}\left({\mathbf{X}}_1\right)}{\max }\underset{{\mathbf{v}}_i\in \mathrm{span}\left({\mathbf{X}}_2\right)}{\max }{\mathbf{u}}_i^T{\mathbf{v}}_i\\ \text{s.t.}{\mathbf{u}}_i^T{\mathbf{u}}_i& =1,{\mathbf{v}}_i^T{\mathbf{v}}_i=1\\ {\mathbf{u}}_i^T{\mathbf{u}}_j& =0,{\mathbf{v}}_i^T{\mathbf{v}}_j=0,(j=1,\dots ,i-1)\end{array}$$
其中，$cos(\theta ),0\le i<p$被称为典型相关系数。
基于线性子空间的主夹角，在投影映射$(X)=X{X}^T$的框架下提出了另一种表示格拉斯曼流形的基本元素的策略，也就是用投影矩阵$X{X}^T$来表示格拉斯曼流形元素，即线性子空间$Span(X)$。这一投影嵌入是一个从格拉斯曼流形到秩为 $q$ 的幂等对称矩阵空间的微分同胚映射。也就是说，它是一个一对一、连续、可微的映射，并且它的逆映射也是个连续、可微的。因此，在格拉斯曼流形上的每个元素只对应唯一的一个投影矩阵。

对称正定矩阵流形（SPD）

对称正定矩阵流形 当$d\times d$的对称正定矩阵矩阵(SPD) 张成的空间被赋予一个合适的黎曼度量时，这一空间就可以构成一个特定类型的黎曼流形，也就是所谓的对称正定矩阵(SPD) 流形${\mathbb{S}}_{+}^d$。
通过采用对数映射，在SPD流形上的点X上的切线都位于对应的切空间上。这一切空间上定义了内积。在所有切空间上定义的内积族就是所谓的流形上的黎曼度量。如果对SPD流形配备黎曼度量，那么在流形上的两点$X_1,X_2$之间的测地距离一般可计算为:
$${\log }_{S_1}:{\mathbb{S}}_{+}^d\to T_{X_1}{\mathbb{S}}_{+}^d,{\mathbf{X}}_1\in {\mathbb{S}}_{+}^d$$

$${\delta }_s(X_1,X_2)=<lo{g}_{x_1}(X_2),lo{g}_{x_1}(X_2){>}_{x_1}$$
目前，有两个最广为应用的黎曼度量是仿射不变度量(Affine-Invariant metric)和对数欧氏度量(Log-Euclidean metric)。 它们均设计了对称正定矩阵流形上两元素之间的测地距离的具体形式。

SPD矩阵形成黎曼流形，其中欧氏距离不再是合适的度量。以往对SPD流形的分析主要分为两类：局部逼近法和核方法，如图所示。局部近似法局部平坦流形，并通过切线空间的一个点逼近SPD矩阵。核心方法通过核函数将流形嵌入高维再生核Hilbert空间（RKHS）。在新的空间上，两种方法都将SPD矩阵转化为向量，并学习相应的判别表示。然而，局部逼近和核方法都面临两个问题。首先，SPD矩阵是高维的，这就带来了计算量大的问题。其次，SPD矩阵的矢量化操作可能导致流形几何结构的畸变。

为了克服上述两个问题，Zhen Dong等人重点学习将高维SPD矩阵投影到低维判别SPD流形的非线性映射，如图（b）所示。近年来，深神经网络表现出了很强的描述复杂非线性映射的能力，并成功地应用于图像分类、人脸识别等许多视觉任务，主张通过一个深度神经网络来建立非线性映射模型，从而降低高维SPD矩阵的维数。

李群流形

李群除了是光滑流形外还是一个群，且群的运算是光滑的，所以他对群的运算和对于其微分结构来说是可微的。
定义如下：设$G$是一个非空集合，如果：

1. $G$是一个群（群运算记为乘法）；
2. $G$是$r$维光滑流形；
3. 群运算是光滑的，即映射$(g_1，g_2)\to g_1{g}_2^{-1}$是$G\times G\to G$ 的光滑映射，则称$G$是一个$r$维的李群。

李群中包含了一般线性群 $(GL(n))$，他还有很多子群：特殊线性群、正交群、特殊正交群、复特殊线性群、复正交群、酉群。

SO(3)

用来表示三维旋转的矩阵群，又叫特殊正交群，即由所有正交的三维矩阵构成，同时矩阵行列式的值为1。

SE(3)

用来表示三维变换（包括平移）的矩阵群。
SE(3)是${\mathbb{R}}^3$中刚性变换组的描述，其成员是具有这种结构的$4\times 4$矩阵的集合：
$$\mathbf{T}=\left(\begin{array}{cc}\mathbf{R}& \mathbf{t}\\ 0_{1\times 3}& 1\end{array}\right)$$
其中 $R$ 属于SO(3)，$t$ 是三维坐标平移。这个群有如下一些性质：

1. 是一个六维的流形（即有六个自由度），三个自由度和平移有关，三个自由度和旋转有关。
2. 同构于 $GL(4,R)$ 的子集。
3. 被嵌入到一般的 $GL(4,R)$。
4. 是SO(3)群和 ${\mathbb{R}}^3$的半直积。