「机器学习算法」多维缩放（MDS）

简介

   多维缩放（Mutiple Dimensional Scaling）是一种经典的降维方法，可以缓解在高维情形下出现的数据样本稀疏和距离计算困难等问题，即“维数灾难”.

算法原理及推导

    假定$m$ 个样本在原始空间的距离矩阵为 $D\in \mathbb{R}^{m\times m}$，其第$i$ 行和第$j$ 列的元素$dist_{ij}$ 为样本$\textbf{x}_i$ 和 $\textbf{x}_j$ 的距离。我们的目标是获得样本在$d'$ 维空间的表示$\textbf{Z}\in \mathbb{R}^{d'\times m}$ ， $d' \leq d$ ，且任意两个样本在$d'$ 维空间中的欧式距离等于原始空间中的距离，即$||\textbf{z}_i-\textbf{z}_j||=dist_{ij}$.
    令$\textbf{B}=\textbf{Z}^T\textbf{Z}\in\mathbb{R}^{m\times m}$ ，其中$\textbf{B}$ 为降维后样本的内积矩阵，$b_{ij}=\textbf{z}_i^T\textbf{z}_j$ ，则有

$$dist_{ij}^2=||\textbf{z}_i-\textbf{z}_j||^2=||\textbf{z}_i||^2+||\textbf{z}_j||^2+2\textbf{z}_i^T\textbf{z}_j=b_{ii}+b_{jj}-2$$