MDS（Multidimensional Scaling）

MDS的主要思想

MDS的目的是降维。怎么降才能使损失的信息更少呢？我们想到，如果降到低维后，所有点之间的距离还和高维时点间距离相同，那么就可以大致认为我们保留下来了原来的信息。

算法具体内容

通过输入的高维点集（I个点），可以得到距离矩阵：

降维后的点集：{xi, i=1, 2, …, I}

我们要想办法，使得降维后的点生成的距离矩阵和高维点距离矩阵尽量相同。即，

算法推导

构造降维后点集的矩阵，

$$X = \begin{gather*} \begin{pmatrix} x_1 ^ \mathrm{ T }\\ x_2 ^ \mathrm{ T }\\\vdots\\x_I^ \mathrm{ T } \end{pmatrix}\\ \end{gather*}$$
定义矩阵T，
$$T = XX ^ \mathrm{ T }$$
其中，
$$t_{ij} = x_ix_j$$
对于距离矩阵，
$$\delta_{ij}^2=(x_i - x_j)^2=x_i^2+x_j^2-2x_ix_j$$
$$t_{ij}=-\dfrac{1}{2}(\delta_{ij}^2-x_i^2-x_j^2)$$
$$\sum_j\delta_{ij}^2=nx_i^2+\sum_jx_j^2-2x_i\sum_jx_j=nx_i^2+\sum_jx_j^2$$
$$\sum_i\delta_{ij}^2=nx_j^2+\sum_ix_i^2-2x_j\sum_ix_i=nx_j^2+\sum_ix_i^2$$
$$\sum_{ij}\delta_{ij}^2=n\sum_ix_i^2+n\sum_jx_j^2$$
如果我们提前对X进行去均值化的话，就有，
$$\sum_jx_j = \sum_ix_i=0$$

联立以上各式， 可以求得矩阵T。
注意到，

$$T = XX ^ \mathrm{ T }$$
对T进行特征分解，
$$T = U\Lambda U ^ \mathrm{ T }$$
即可得到X，也就是降维后的点集。
$$X = U\sqrt\Lambda$$

python代码实现

自己写了一个小函数实现mds。觉得麻烦的朋友可以直接去网上找一找相关的python库，好像是有封装好的函数的。

"""
Author: totodum
Program: Multidimensional_Scaling.py
Description: Multidimensional Scaling algorithm
"""
from numpy import *
from numpy.linalg import *


'''
MDS take the distance matrix d and reduce the dimension to 'dimension'
    return the result vector of dimension 'dimension'
'''


def mds(d, dimension):
    (n, n) = shape(d)
    t = zeros((n, n))
    d_square = d**2
    d_sum = sum(d_square)
    d_sum_row = sum(d_square, axis=0)
    d_sum_col = sum(d_square, axis=1)
    for i in range(n):
        for j in range(n):
            t[i, j] = -(d_square[i, j] - d_sum_row[i]/n - 
                        d_sum_col[j]/n + d_sum/(n*n))/2
    [U, S, V] = svd(t)
    X_original = U * sqrt(S)
    X = X_original[:, 0:dimension]
    return X