降维-多维尺度法（MDS）

多维尺度法（Multidimensional Scaling，MDS）是一种经典的数据降维方法，是当我们仅能获得样本之间的相似性矩阵时，如何由此来重构它们的欧几里德坐标，即只知道高维空间中的样本之间的距离，基于此重构这些样本在低维空间的相对位置！下面一步一步地介绍MDS的神奇。

一、问题定义

假定$m$个$n$维样本在原始空间的距离矩阵为$\textbf{D}\in R^{m\times m}$，其中第$i$行$j$列的元素$d_{ij}$为样本$\textbf{x}_i$到$\textbf{x}_j$的距离：

$$\textbf{D}= \left[ \begin{matrix} d_{11} & d_{12} & \ldots & d_{1m} \\ d_{21} & d_{22} & \ldots & d_{2m} \\ \vdots & \vdots & \vdots & \vdots \\ d_{m1} & d_{m2} & \ldots & d_{mm} \end{matrix} \right] =\left[ \begin{matrix} 0 & ||\textbf{x}_1-\textbf{x}_2|| & \ldots & ||\textbf{x}_1-\textbf{x}_m|| \\ ||\textbf{x}_2-\textbf{x}_1||& 0 & \ldots & ||\textbf{x}_2-\textbf{x}_m|| \\ \vdots & \vdots & \vdots & \vdots \\ ||\textbf{x}_m-\textbf{x}_1|| & ||\textbf{x}_m-\textbf{x}_2|| & \ldots & 0 \end{matrix} \right] .$$
问题的求解目标是获得样本在 $n^{'}$维空间的表示 $\textbf{Z}\in R^{n^{'}\times m}$，且任意两个样本在 $n^{'}$维空间中的距离等于原始空间中的距离，即 ||zi−zj