数据降维——多维缩放MDS

多维缩放（Multidimensional Scaling, MDS）是一组对象之间的距离的可视化表示，也可以当做一种无监督降维算法使用。

为了直观了解MDS，给一个简单例子。假设现在给定一组城市之间的距离信息如下：

现在要求绘制一幅地图，在地图中标出所有城市，并且城市之间的距离等于上表中给出的距离。显然，这种图不是唯一的，因为平移、旋转操作并不改变距离。其中一种绘制方法如下图：

MDS应用在数据降维时，基本思想和上面的例子相同：保证所有数据点对在低维空间中的距离等于在高维空间中的距离。

假设给定N个实例，可以计算出原始空间中的距离矩阵$D\in \mathbb R^{N\times N}$，其中第$i$行第$j$列的元素$d_{ij}$表示第$i$个实例和第$j$个实例之间的距离。现在希望把数据降维到$d'$维空间中去，得到所有样本点在$d'$中的表示$Z\in \mathbb R^{N\times d'}$，其中$z_{i,:}^T\in R^{d'}$表示第$i$个实例，并且任意两个实例在$d'$维空间中的距离等于原始空间中的距离。事实上，可以推导出满足此条件$Z$的解析解。

由保持距离原则可知

d2ij=||zi−zj||2=||zi||2+||zj||2−2z