Spark Mllib数据挖掘入门十——数据降维

数据降维又称为维数约简，从名称上看就是降低数据的维数。目前MLlib中使用的降维方法主要有两种：奇异值分解（SVD）和主成分分析（PCA）。

1.奇异值分解（SVD）

奇异值分解是矩阵分解计算的一种常用方法，将一个矩阵分解成带有方向向量的矩阵相乘。将一个大矩阵分解为若干个低维度的矩阵来表示是其最终目的。对于数据中包含的一些不是很重要的信息，可以通过不同的方式给予去除，从而可以节省资源以投放在更重要的工作中，这也是数据降维的目的。
这样做的好处是能够极大地减少矩阵的存储空间，很多数据矩阵在经过SVD处理后，其所占空间只有原先的10％左右，从而极大地提高运算效率。

2.主成分分析

主成分分析是设法将原来众多具有一定相关性（比如P个指标）的指标，重新组合成一组新的互相无关的综合指标来代替原来的指标，从而实现数据降维的目的，这也是MLlib的处理手段之一。

数据降维为大数据的数据维数过多、噪音过多提供了相应的解决方法，提高了大数据运算效率。