一篇文章了解PCA,MDS的推导过程

对于PCA和MDS降维两种方法，在数据分析，还是建模中我用到了很多次，很多时候都是直接在sklearn中调函数，或者直接网上找现成的，现在终于到了分析它的处理原理（数学角度）。

PCA降维

PCA可谓是我用的第二多的，我知道的要晚一些，（我看好多人都是先知道PCA，然后知道MDS，我竟然是反的）这里只推导它的过程，矩阵的处理啥的。

公式推导

首先有个数据矩阵X，大小为m*n，一行为一个样本，也就是$x_i$，共有n个样本，m表示数据的维度。

$X$

然后求X的平均值$\overline{X}$后定义新的矩阵A

$A=X-\overline{X}$

定义矩阵B，B为A的转置矩阵*A

$B=A^{T}A$

然后求B矩阵的特征值，特征向量。将特征值进行大到小排序，如果你想降维到2维，那么只需要找到前两个特征值对应的特征向量，并将其组成2*m的矩阵P，然后即可求得降维后的矩阵D

$D=XP$

MDS降维

公式推导

第一步，需要定义一个距离函数，一般纯数据多采用欧氏距离，其他距离也可以具体数据具体分析。

数据矩阵为X，大小为m*n，一行为一个样本，也就是$x_i$，共有n个样本，m表示数据的维度。

$X$

首先求得两两样本的距离矩阵D(主对角线元素为0)

$D:d_{ij}=dist(x_i,x_j)$

然后分别定义3个dist函数

$dis{t}_{i\ast }:d_{ij}=\frac{1}{m}{\sum }_{j=1}^{m}dis{t}_{ij}^2$

$dis{t}_{j\ast }:d_{ij}=\frac{1}{m}{\sum }_{i=1}^{m}dis{t}_{ij}^2$

$dis{t}_{ij\ast }:d_{ij}=\frac{1}{m}{\sum }_{i=1}^m{\sum }_{j=1}^{m}dis{t}_{ij}^2$

然后根据以上3个dist求得矩阵B

$B：b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i\ast }-dis{t}_{j\ast }+dis{t}_{ij\ast })$

然后求B的特征值和特征向量，并对特征值排序并将其转换为矩阵，特征值在对角线，其他位置补充0，特征向量按特征值顺序也进行排序然后进行归一化处理（与PCA不同）。如果降维至2维，那么只需要从左上角开始取2*2的特征值，取前2个特征向量，分别定义为$B_e$，$B_n$那么最终降维结果为

$Z=\sqrt{B_e}{B}_n^T$