数据降维方法汇总

• 数据降维的应用：①降低数据的存储量；②加快机器学习的速度；③数据可视化
• 数据降维的本质： 方差

PCA（主成分分析）

1. 简介：principal component analysis,
2. 原理：对于一个未知的系统，我们假设它有n个参数。我们想要求出那些参数最重要，而把不重要的参数给抹掉，从而降低参数向量的维数。PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。

3. 算法过程：

   1）对于一个训练集，20个sample(i=1,2,3,…,20)，特征Xi是100维Xi1,Xi2,Xi3,…Xij,…,Xi100，那么它可以建立一个20*100的样本矩阵M。
   2）紧接着我们开始求这个样本的协方差矩阵，得到一个20*20的协方差矩阵，计算过程如下：
     •先求解出Xi的平均Xav=(∑xi)/20;
     •对每一个Xi,计算Xi-Xav,即Mi(第 i 行)变为 Mi-Xav,记为Mn;
     •则容易得到协方差矩阵Z为Mn*Mn’( ’ 表示转置 ) 。
   3）然后求出这个协方差矩阵Z20x20的特征值和特征向量，一般情况下应该有20个特征值和特征向量，现在根据特征值的大小，取出较大的特征值以及其所对应的特征向量，（假设提取的特征值为较大的5个特征值），那么这5个特征向量就会构成一个20*5的矩阵V，这个矩阵就是我们要求的特征矩阵。

   4）用Mn’去乘以V，得到一个base矩阵（*），大小为100x5。

   5）任取一个样本1x100,乘上这个100*5的特征矩阵，就得到了一个1*5的新的样本，显然每个sample的维数下降了，然后再用这个1x5向量去比较相似性。

MDS（多维尺度分析）

1. 简介：multidimensional scaling，根据样本是否可计量，又分为计量多元尺度法（Metric MDS）和非计量多元尺度法（Nonmetric MDS）。

方法	优点	缺点
Metric	精确	耗时，计算成本高
NonMetric	样本尺度为ordinal，简便，直观，应用范围更广	无法知道评估准则，效果较差

1. 原理：
   定义一个距离函数的集合，如下：
   

   $$\Delta = \left[ \begin{matrix} \delta{ _1,_1} & \delta{ _1,_2} &\delta{ _1,_3} \\ \delta{ _2,_1} &\delta{ _2,_2} &\delta{ _2,_3} \\ \delta{ _3,_1} & \delta{ _3,_2} & \delta{ _3,_3} \end{matrix} \right]$$
   其中$\delta{_i,_j}$ 表示第i个和第j个对象之间的距离，MDS算法的目的是根据上述的$\Delta$ 寻找与对象数同样多的向量，使得 $|| x{_i} - x{_j} || \approx \delta{_i,_j}$ ,其中 ||.||为向量的范数，欧式距离之类的东西。
   mds本质就是找到一个子空间，物体嵌入子空间中，彼此的相似度与Δ类似，