多维度缩放——MDS

我们知道，缓解“维度灾难”的一个重要方法就是降维，即通过某种数学变换将原始高维属性空间转变为一个低维空间。而多维度缩放，就是其中的一个经典算法。

简介

多维度缩放，英文全称为Multiple Dimension Scaling，简称为MDS。其基本想法是: 降维后的低维空间$d^{{}^{\prime }}$的欧式距离等于原始空间$d$的欧式距离。然而，它又是如何实现的呢？

数学推导

假定$m$个样本在原始空间的距离矩阵为$D\in {\mathbb{R}}^{m\times m}$，其第$i$行$j$列的元素$d_{ij}$为样本${\mathbf{x}}_i$和${\mathbf{x}}_j$的距离。我们的目标是获得样本在$d^{{}^{\prime }}$维空间的表示$Z\in {\mathbb{R}}^{d^{{}^{\prime }}\times m},d^{{}^{\prime }}\le d$，且任意两个样本在$d^{{}^{\prime }}$维空间的欧式距离等于原始空间中的距离，即$||{\mathbf{z}}_i-{\mathbf{z}}_j||=d_{ij}$。是不是很神奇？！

令$B=Z^{T}Z\in {\mathbb{R}}^{m\times m}$，其中$B$为降维后样本的内积矩阵，$b_{ij}={\mathbf{z}}_i{\mathbf{z}}_j$，有

$$\begin{array}{rl}{d}_{ij}^2& =||{\mathbf{z}}_i|{|}^2+||{\mathbf{z}}_j|{|}^2-2{\mathbf{z}}_i^T{\mathbf{z}}_j\\ & =b_{ii}+b_{jj}-2b_{ij}\end{array}$$

此外，为便于讨论，我们令降维后的样本$Z$被中心化，即${\sum }_{i=1}^m{\mathbf{z}}_{\mathbf{i}}=0$。显然，矩阵$B$的行与列之和均为零，即${\sum }_{i=1}^m{b}_{ij}={\sum }_{j=1}^m{b}_{ij}=0$。因此，可有

$$\begin{array}{rl}\sum _{i=1}^m{d}_{ij}^2& =tr(B)+m{b}_{jj}\\ \sum _{j=1}^m{d}_{ij}^2& =tr(B)+m{b}_{ii}\\ \sum _{i=1}^m\sum _{j=1}^m{d}_{ij}^2& =2mtr(B)\end{array}$$

其中，$tr(\cdot )$表示矩阵的迹，$tr(B)={\sum }_{i=1}^m||{\mathbf{z}}_i|{|}^2$。令，

$$\begin{array}{rl}{d}_{i\cdot }^2& =\frac{1}{m}\sum _{j=1}^m{d}_{ij}^2\\ d_{\cdot j}^2& =\frac{1}{m}\sum _{i=1}^m{d}_{ij}^2\\ d_{\cdot \cdot }^2& =\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^m{d}_{ij}^2\end{array}$$

因此，综合上式，可得，

$$b_{ij}=-\frac{1}{2}(d_{ij}^2-d_{i\cdot }^2-d_{j\cdot }^2+d_{\cdot \cdot }^2)$$

由此即可通过降维前后保持不变的距离矩阵$D$求取内积矩阵$B$。那么，我们又如何求取降维后的样本点呢？答案是特征值分解。

对矩阵$B$做特征值分解，

$$B=V\Lambda V^T$$

其中，$\Lambda =diag({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{d^{{}^{\prime }}})$为特征值构成的对角矩阵，${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_{d^{{}^{\prime }}}$，$V$表示特征向量矩阵。假定其中有$d^{\ast }$个非零特征值，它们构成对角矩阵${\Lambda }_{\ast }=diag({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{d^{\ast }})$，令$V_{\ast }$表示相应的特征向量矩阵，则$Z$可表达为

$$Z={\Lambda }_{\ast }^{\frac{1}{2}}{V}_{\ast }^T$$

在现实生活中，为了有效降维，往往仅需降维后的距离与原始空间中的距离尽可能接近，而不必严格相等。此时，可取$d^{{}^{\prime }}\ll d$个最大特征值构成对角矩阵$\tilde{\Lambda }=diag({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{d^{{}^{\prime }}})$，令$\tilde{V}$表示相应的特征向量矩阵，则$Z$可表达为

$$Z={\Lambda }^{\frac{1}{2}}{V}^T\in {\mathbb{R}}^{d^{{}^{\prime }}\times m}$$

参考文献

周志华，《机器学习》

郭嘉丰，《无监督学习 —— 维度约简》