若干种降维方法的实现与比较(PCA、MDS)

若干种降维方法的实现与比较(PCA、MDS)

新学到一种降维方式MDS，想到之前学过PCA但是也忘得差不多了，心想干脆这次来个包圆儿，一块再学习一遍，以后如果忘记还可以来这里再翻阅😁顺便编程给实现了，然后结合sklearn包里面提供的降维的方法进行了一些对比

---

---

1、降维

参考西瓜书里面的讲法，降维是从KNN算法这里引入的，如果大家对KNN算法还不太了解的话，其实就一句话，给定一个新样本，其类别是由原有样本中最接近的$k$个样本决定的。然后当原有样本数量的维数比较高，可能相隔非常远才有样本，这样跟近邻的概念有些背道而驰了。所以会考虑降低样本的维度，以增加样本在样本空间的密度。

维数灾难，curse of dimensionality，是困扰机器学习在一些场景适用性的一大问题。有的场景中数据分布非常稀疏、维数特别高，会带来距离比较难计算，结果不好解释等问题。所以降维，dimension reduction，是一个有效的途径。

那么为什么可以降维呢，这跟图片压缩差不多的意思，用更加少而精炼的部分来代替整体。降维就是通过一些数学的变换，将原始高位的属性空间转变为一个低维的子空间。样本虽然在观察的时候是高维的，但是跟学习任务相关的也许仅仅是某个低微分布，即高维空间的一个低维“嵌入”（embedding）。

---

2、MDS降维

2.1、原理介绍

MDS，多维缩放，Multiple Dimensional Scaling，一种经典的降维算法。

主要的特点是能够保持原始样本空间中样本之间的距离和降维后空间相等（或者十分近似）

由于自己也是第一次学习这个概念，还是把推导的过程给敲一遍吧，加深印象。

有$m$个样本在原始空间的距离矩阵为$D\in {\mathbb{R}}^{m\times m}$，第$i$行$j$列元素$dis{t}_{ij}$是样本$x_i$到$x_j$之间的距离。MDS的目的是获取样本在$d_1$维空间的表示$Z\in {\mathbb{R}}^{d_1\times m}$，且任意两个距离在$d_1$维空间的欧氏距离等于原始空间的距离，即$\Vert z_i-z_j\Vert =dis{t}_{ij}$。

令$B=Z^{T}Z\in {\mathbb{R}}^{m\times m}$为降维后样本的内积矩阵，$b_{ij}=z_i^T{z}_j$，有$$dis{t}_{ij}^2=\Vert z_i{\Vert }^2+$$