降维系列之 MDS多维缩放 与 ISOMAP 等度量映射

主要思路

MDS（Multi-dimensional Scaling）是一种经典的降维方法。本文主要参考这个PPT。
给定样本集$X=[x_1,\cdots ,x_n]\in {\mathbb{R}}^{D\times n}$，其中$n$表示样本数量，$D$表示维度，每一列表示一个样本，以及一种满足如下条件的度量方式$d_{ab}$：

• $d_{ab}\ge 0$
• $d_{ab}=0,ifa=b$
• $d_{ab}=d(b,a)$
• $d_{ac}\le d_{ab}+d_{bc}$

一般假设$d$取欧氏距离。MDS希望寻找到降完维后的结果$Y=[y_1,\cdots ,y_n]\in {\mathbb{R}}^{d\times n}$尽可能满足：
$$d_{ij}=\Vert y_i-y_j{\Vert }_2$$

而$d_{ij}$由$x_i,x_j$的欧氏距离定义。

经典MDS的解

假设现在已经找到了$Y$使得其中恰好能满足：
$$d_{ij}=\Vert y_i-y_j{\Vert }_2$$

然而对于任意$c\in {\mathbb{R}}^{d\times 1}$都有：
$$\Vert (y_i+c)-(y_j+c){\Vert }_2=d_{ij}=\Vert y_i-y_j{\Vert }_2=d_{ij}$$

也就是说只要有一组解满足条件，通过平移就一定能得到无限多组解满足条件，因此MDS加了一个限制来避免这种情况：
$$\sum _{i=1}^n{Y}_{ij}=0,forallj$$

即限制$Y$的行之和为0，这就是要让求出的$Y$是经过中心化的。

在求解时，MDS构造矩阵$B=Y^{T}Y$，这样优化目标就变成了：
$$d_{ij}^2=\Vert y_i-y_j{\Vert }_2^2=y_i^T{y}_i+y_j^T{y}_j-2y_i^T{y}_j=b_{ii}+b_{jj}-2b_{ij}$$

其中$b_{ij}$是$B$的第$(i,j)$个元素。现在希望把$b_{ij}$用$d_{ij}$表示出来。

有如下的等式关系是成立的：
$$\begin{gathered} \sum _{i=1}^n{d}_{ij}^2=\sum _{i=1}^n{y}_i^T{y}_i+n{y}_j^T{y}_j-2(\sum _{i=1}^n{y}_i^T)y_j=tr(B)+n{b}_{jj} \\ \sum _{j=1}^n{d}_{ij}^2=\sum _{i=1}^n{y}_j^T{y}_j+n{y}_i^T{y}_i-2y_i(\sum _{i=1}^n{y}_j)=tr(B)+n{b}_{ii} \\ \sum _{i=1}^n\sum _{j=1}^n{d}_{ij}^2=\sum _{i=1}^n\sum _{j=1}^n(y_i^T{y}_i+y_j^T{y}_j-2y_i^T{y}_j)=2ntr(B) \end{gathered}$$

这主要是因为$Y$是中心化的，因此各向量之和${\sum }_{i=1}^n{y}_i^T,{\sum }_{j=1}^n{y}_j^T$为全0向量。进一步有：
$$\begin{gathered} tr(B)=\frac{1}{2n}\sum _{i=1}^n\sum _{j=1}^n{d}_{ij}^2 \\ {b}_{ii}=\frac{1}{n}\sum _{j=1}^n{d}_{ij}^2-\frac{1}{2n^2}\sum _{i=1}^n\sum _{j=1}^n{d}_{ij}^2 \\ {b}_{jj}=\frac{1}{n}\sum _{i=1}^n{d}_{ij}^2-\frac{1}{2n^2}\sum _{i=1}^n\sum _{j=1}^n{d}_{ij}^2 \end{gathered}$$

因此：
$$b_{ij}=-\frac{1}{2}(d_{ij}^2-b_{ii}-b_{jj})=-\frac{1}{2}(d_{ij}^2-\frac{1}{n}\sum _{j=1}^n{d}_{ij}^2-\frac{1}{n}\sum _{i=1}^n{d}_{ij}^2+\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n{d}_{ij}^2)$$

这样就能求出$B$矩阵了。而$B=Y^{T}Y$，对$B$做特征值分解得：
$$B=V\Lambda V^T=V{\Lambda }^{1/2}{\Lambda }^{1/2}{V}^T=Y^{T}Y$$

其中$\Lambda =diag({\lambda }_1,\cdots ,{\lambda }_n)$为特征值从大到小排列构成的对角矩阵，$V$是特征向量矩阵。因此可知：
$$Y={\Lambda }^{1/2}{V}^T$$

降维的时候，就选择前$d$大的特征值及其对应的特征向量构成$\Lambda$和$V$即可。

MDS总结

$B$是$n\times n$的矩阵，特征分解$B=V\Lambda V^T$，最多也就$n$个特征值，因此$V\times {\mathbb{R}}^{n\times n}$，也就是说做到这里的时候$V$就是$n$维的，是满足$b_{ij}=d_{ij}$的，是把$D$维的$X$变成了$n$维的$B$。
如果要寻求维度低于$n$的$d$维的$Y$的话，“取前$d$大的特征值及其对应的特征向量”这种选法相当于在对$B$做PCA，因为对称矩阵$B$的特征分解和SVD分解是等价的，其奇异值是特征值的平方。
所以MDS真的有点奇怪，为什么要先求$B$再做PCA呢，难道原矩阵$X$不就是维持样本间距离的最好最原始的表达么，为什么不直接做PCA。

MDS的推导与其他降维方法不同，是直接推出来的，没有迭代或乘子法。

ISOMAP等度量映射

ISOMAP构建$D$的方法与MDS不同，后面的步骤都一样。它会先寻找每个样本的$k$近邻，样本与其近邻之间的距离用欧氏距离度量，与非近邻之间的距离为无穷大，然后用最短路径算法（Dijkstra或者Floyd）来构建$D$矩阵。然后再做MDS。这种度量方法叫做“测地线距离”，相比于MDS，可以更好的控制数据信息的流失，能够在低维空间中更加全面的将高维空间的数据表现出来。