机器学习笔记之——降维（一）MDS

MDS（Multiple Dimensional Scaling）

---

关键思想：降维前后两点距离不变

假设 m 个 d 维样本在原始空间的距离矩阵为 $D\in {\mathbb{R}}^{m\times m}$, 降维后的样本矩阵 $Z\in {\mathbb{R}}^{d^{\prime }\times m}$, 其中 $d^{\prime }\ll d$, 每一列 $z_i$ 表示一个降维后的样本。

令 $B=Z^{T}Z\in {\mathbb{R}}^{m\times m}$, $B$ 是降维后的内积矩阵，$B_{ij}=z_i^T{z}_j$，我们要求降维之后任意两点之间的距离仍然和原始空间一样，则
$$\begin{array}{rl}{D}_{ij}^2={\Vert z_i-z_j\Vert }^2& ={\Vert z_i\Vert }^2+{\Vert z_j\Vert }^2-2z_i^T{z}_j\\ & =B_{ii}+B_{jj}-2B_{ij}\end{array}\text{\hspace{1em}(1)}$$

为了方便，假设降维后的样本被中心化，即 ${\sum }_{i=1}^m{z}_i=0$，则 $B$ 矩阵的行与列之和都为 0，比如第 i 行之和，以及第j列的和分别为：
$$\sum _{j=1}^m{B}_{ij}=\sum _{j=1}^m{z}_i^T{z}_j=z_i^T\sum _{j=1}^m{z}_j=z_i^T\cdot 0=0$$ $$\sum _{i=1}^m{B}_{ij}=\sum _{i=1}^m{z}_i^T{z}_j=(\sum _{i=1}^m{z}_i{)}^T\cdot z_j=0^T{z}_j=0$$

利用公式(1)，可求矩阵 D 的第 j 列的平方和为：
$$\begin{array}{rl}\sum _{i=1}^m{D}_{ij}^2& =\sum _{i=1}^m(B_{ii}+B_{jj}-2B_{ij})\\ & =\sum _{i=1}^m{B}_{ii}+\sum _{i=1}^m{B}_{jj}-2\sum _{i=1}^m{B}_{ij}\\ & =tr(B)+m{B}_{jj}\end{array}\text{\hspace{1em}(2)}$$

同理，矩阵 D 的第 i 行的平方和为：
$$\begin{array}{rl}\sum _{j=1}^m{D}_{ij}^2& =\sum _{j=1}^m(B_{ii}+B_{jj}-2B_{ij})\\ & =\sum _{j=1}^m{B}_{ii}+\sum _{j=1}^m{B}_{jj}-2\sum _{j=1}^m{B}_{ij}\\ & =m{B}_{ii}+tr(B)\end{array}\text{\hspace{1em}(3)}$$

矩阵 D 所有元素平方和为：
$$\begin{array}{rl}\sum _{i=1}^m\sum _{j=1}^m{D}_{ij}^2& =\sum _{i=1}^m(m{B}_{ii}+tr(B))\\ & =m\sum _{i=1}^m{B}_{ii}+\sum _{i=1}^{m}tr(B)\\ & =m\cdot tr(B)+m\cdot tr(B)\\ & =2m\cdot tr(B)\end{array}\text{\hspace{1em}(4)}$$

令 $avg(D_{row\_i}^2)$ 表示 D 的第 i 行的平方和的平均值。即 $avg(D_{row\_i}^2)=1/m{\sum }_{j=1}^m{D}_{ij}^2$ , 同理，令 $avg(D_{col\_j}^2)$ 表示 D 的第 j 列的平方和的平均值，令 $avg(D^2)$ 表示 D 的所有元素平方和的平均值， 则由公式 (4) 分别可得：
$$tr(B)=\frac{{\sum }_{i=1}^m{\sum }_{j=1}^m{D}_{ij}^2}{2m}=\frac{m}{2}\cdot \frac{{\sum }_{i=1}^m{\sum }_{j=1}^m{D}_{ij}^2}{m^2}=\frac{m}{2}avg(D^2)$$
由上式和公式(2), (3) 分别可得：
$$B_{ii}=\frac{{\sum }_{j=1}^m{D}_{ij}^2-tr(B)}{m}=\frac{{\sum }_{j=1}^m{D}_{ij}^2}{m}-\frac{tr(B)}{m}=avg(D_{row\_i}^2)-\frac{tr(B)}{m}=avg(D_{row\_i}^2)-\frac{1}{2}avg(D^2)$$ $$B_{jj}=\frac{{\sum }_{i=1}^m{D}_{ij}^2-tr(B)}{m}=\frac{{\sum }_{i=1}^m{D}_{ij}^2}{m}-\frac{tr(B)}{m}=avg(D_{col\_j}^2)-\frac{tr(B)}{m}=avg(D_{col\_j}^2)-\frac{1}{2}avg(D^2)$$
最后，根据公式(1)和上述两个式子，可以得出 $B_{ij}$ 的计算公式：
$$\begin{array}{rl}{B}_{ij}& =\frac{B_{ii}+B_{jj}-D_{ij}^2}{2}\\ & =\frac{avg(D_{row\_i}^2)-\frac{1}{2}avg(D^2)+avg(D_{col\_i}^2)-\frac{1}{2}avg(D^2)-D_{ij}^2}{2}\\ & =\frac{avg(D_{row\_i}^2)+avg(D_{col\_j}^2)-avg(D^2)-D_{ij}^2}{2}\end{array}\text{\hspace{1em}(5)}$$
经过上述一系列的计算，我们便可以在已知样本在原始空间的距离信息(D矩阵)的情况下，由公式(5)计算得到降维之后的内积矩阵 $B=Z^{T}Z$。由公式(1)我们可以知道，只要内积矩阵 B 一确定，任意两点之间的距离 ${\Vert z_i-z_j\Vert }^2$也就确定了。 现在我们只要找到一个矩阵 $Z$，使得其内积矩阵为 $B$ , 即 $Z^{T}Z=B$, 我们就可以保证其距离 ${\Vert z_i-z_j\Vert }^2$ 是等于 $D_{ij}^2$ 的。

现在问题是如何找到满足 $Z^{T}Z=B$ 的 $Z$ ，只要利用特征值分解就能简单地做到。对矩阵 $B$ 进行特征值分解，有 $B=V\Lambda V^T$， 其中 $\Lambda$ 是特征值从大到小排列组成的对角矩阵，$V$ 是特征向量矩阵。
$$B=V\Lambda V^T=\left[\begin{array}{c}{v}_1\cdots v_m\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\lambda }_m\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ ⋮\\ v_m^T\end{array}\right]={\lambda }_1{v}_1{v}_1^T+{\lambda }_2{v}_2{v}_2^T+\cdots +{\lambda }_m{v}_m{v}_m^T\text{\hspace{1em}(6)}$$

从上式可以看出，若某个特征值 ${\lambda }_i$ 为0，则其对应的项 ${\lambda }_i{v}_i{v}_i^T$ 也为 0，去掉这些项之后和仍然不变。假设 $\Lambda$ 中有 $k$ 个非零的特征值， ${\Lambda }_{\ast }=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_k)$，$V_{\ast }$ 表示对应的特征向量矩阵，则 $B=V_{\ast }{\Lambda }_{\ast }{V}_{\ast }^T$, 可以得出 $Z$ 为：
$$Z={\Lambda }_{\ast }^{1/2}{V}_{\ast }^T$$ 可以很简单地验证，$Z^{T}Z=({\Lambda }_{\ast }^{1/2}{V}_{\ast }^T{)}^T{\Lambda }_{\ast }^{1/2}{V}_{\ast }^T=V_{\ast }{\Lambda }_{\ast }^{1/2}{\Lambda }_{\ast }^{1/2}{V}_{\ast }^T=V_{\ast }{\Lambda }_{\ast }{V}_{\ast }^T=B$, 至此，我们就找到了满足条件的 $Z$。这样得到的向量 $z_i\in {\mathbb{R}}^k$ 是 k 维的，有时候 k 还是很大。在实际中，为了有效地降维，不要求降维前后距离严格相等，只要距离大致接近即可。因此可以只取 $d^{\prime }$ 个最大的特征值，相当于在公式(6)中只取前面 $d^{\prime }$ 个项，将后面较小的项舍弃，其中 $d^{\prime }\ll d$。这样得到的 $Z^{T}Z$ 和 $B$ 虽然不能严格相等，但是差距不大，也就意味着距离与原空间也比较接近。
令 $\tilde{\Lambda }=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_{d^{\prime }})$, $\tilde{V}$ 表示对应的特征向量矩阵， 则
$$Z={\tilde{\Lambda }}^{1/2}{\tilde{V}}^T\text{\hspace{1em}(7)}$$
这得到的便是最终的结果，$z_i,\cdots ,z_m\in {\mathbb{R}}^{d^{\prime }}$ 是降维后的向量。

具体算法过程如下：

输入：距离矩阵 D, 降维后的维度 d'
过程：
    1. 根据公式(5)计算出内积矩阵 B
    2. 对矩阵 B 做特征值分解
    3. 取 B 最大的 d' 个特征值及特征向量，按公式(7)计算出 Z
输出：Z, Z 的每一列为样本降维后的结果