多维缩放(Multidimensional Scaling, MDS)是一组对象之间的距离的可视化表示,也可以当做一种无监督降维算法使用。
为了直观了解MDS,给一个简单例子。假设现在给定一组城市之间的距离信息如下:
现在要求绘制一幅地图,在地图中标出所有城市,并且城市之间的距离等于上表中给出的距离。显然,这种图不是唯一的,因为平移、旋转操作并不改变距离。其中一种绘制方法如下图:
MDS应用在数据降维时,基本思想和上面的例子相同:保证所有数据点对在低维空间中的距离等于在高维空间中的距离。
假设给定N个实例,可以计算出原始空间中的距离矩阵 D∈RN×N ,其中第 i 行第
由保持距离原则可知