大数据中简化数据的几种方式

大数据处理中，数据量是很庞大的，如果简化数据，便于后期处理，是一项基础工作。

下面介绍，可以采用的几种方法。

1、主成分分析。根据事先指定的信息量（一般是方差最大的是第一主成分），确定主成分分析的层级。

2、SVD（奇异值分解）

优势：简化数据，去除噪声，提高算法结果。

    在推荐系统的相似度矩阵计算过程中，能够通过SVD从高维降到低维，减少计算量，保障推荐的效果。

作用：利用小得多的数据集来表示原始数据集。

过程：将数据集矩阵（M *N）分解成U（M*M）、E（M*N）、V（N*N）。

    其中E只有对角元素，其他元素为0。

    E对角元素从大到小排列，这些对角元素被称为奇异值。

    奇异值和特征值是有关联的，这里暂时不去深究。

小结：

SVD是一种强大的降维处理工具。利用它可以提取最重要的特征。