Low-dimension Embedding详解（附带MDS算法）

Low-dimension Embedding详解

第四十二次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。机器学习任务中的“维数灾难”（Curse of Dimensionality）会导致高维样本空间中的样本稀疏与距离计算困难等问题，为了解决该问题，本文介绍一种被称为“多维缩放”（Multiple Dimensional Scaling，简称MDS）的降维手段。

  在k近邻学习中存在这样一条假设，“给定测试样本$\mathbf{x}$，若其最近邻样本为$\mathbf{z}$，则最近邻分类器出错的概率就是$\mathbf{x}$与$\mathbf{z}$类别标记不同的概率，即

$$P(err)=1-\sum _{c\in y}P(c|\mathbf{x})P(c|\mathbf{z})$$

对于任意样本点，总能在任意近的范围内找到上式中的训练样本$\mathbf{z}$”，要满足上述的假设条件需要训练样本的采样密度足够大，或者称为“密采样”，然而这个假设在现实任务中很难满足，尤其是当属性维数成千上万时，要满足密采样条件所需的样本数目是无法达到的“天文数字”，另外高维样本空间中的距离计算也是一个难点。
  上面提到的，在高维样本空间中的样本稀疏与距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为“维数灾难”（Curse of Dimensionality），缓解这种问题的一个重要途径就是“降维”（Dimension Reduction），也称为“维数约减”，即通过某种数学变换使得高维属性空间转变为一个低维“子空间”（Subspace），在这个样本空间中样本密度将大大提高，而且距离计算也变得更加容易，这是由于与学习任务密切相关的也许只是数据集的某个低维分布，即高维空间中的一个低维“嵌入”（Embedding），基于密度聚类算法中的子空间聚类可以看做是一种简单降维手段的应用。

图1 高维样本空间的子空间

为了将原始空间中样本点之间的距离在低维空间中得到保持，我们可以使用一种称为“多维缩放”（Multiple Dimensional Scaling，简称MDS）的降维手段，下面对MDS方法进行描述。
  假定$m$个样本点在原始空间中的距离矩阵为$D\in {\mathbb{R}}^{m\times m}$，其中元素$dis{t}_{ij}$为样本点${\mathbf{x}}_i$与${\mathbf{x}}_j$之间的距离，MDS的目标是习得样本点在$d^{\prime }$维空间中的表示$\mathbf{z}\in {\mathbb{R}}^{d^{\prime }\times m}$，其中$d^{\prime }\ll d$，且任意两个样本点在$d^{\prime }$维空间之间的欧氏距离等于原始空间中这两个样本点之间的距离，即$||{\mathbf{z}}_i-{\mathbf{z}}_j||=dis{t}_{ij}$。如果令$\mathbf{B}={\mathbf{Z}}^T\mathbf{Z}\in {\mathbb{R}}^{m\times m}$表示$d^{\prime }$维空间中样本点的内积矩阵，其中元素$b_{ij}={\mathbf{z}}_i^T{\mathbf{z}}_j$，那么上述条件可以表示为

(1) d i s t i j 2 = ∣ ∣ z i ∣ ∣ 2 + ∣ ∣ z j ∣ ∣ 2 − 2 z i T