数据降维的几种常见方法（PCA；FA；LDA；ICA等）

---

数据降维方式简述

        在学习ICA算法的过程中，了解到常常需要对数据进行降维，如PCA，FA等，以达到数据预处理的效果，因此查阅相关资料，在这里对数据降维的几种常见方法进行归纳、梳理。
        数据降维就是降低数据的维度，达到增加样本密度以及去噪的目的。降维方式主要有两种方式：

1、一种是特征选择：直接选取原有维度的一部分参与后续的计算和建模过程，用选择的维度替代所有维度，整个过程不产生新的维度（即从现有的特征里选择较小的一些来达到降维的目的）。

方法：

（1）经验法：根据业务经验选择

（2）测算法：通过不断测试多种维度选择参与计算，通过结果来反复验证和调整并最终找到最佳特征方案

（3）统计分析方法：通过相关性分析不同维度间的线性相关性，在相关性高的维度中进行人工去除或筛选；通过计算不同维度间的互信息，找到具有较高互信息的特征集，然后把其中的一个特征去除或留下

（4）机器学习：通过机器学习算法得到不同特征的特征值或权重，然后再根据权重来选择较大的特征，例用决策树得出不同变量的重要程度。

2、另一种是特征提取：按照一定的数学变换方法，将高维空间的数