04-数据降维之特征选择

"""
降维：特征的数量
    注意：之前说的维度是数组的维度，和这里的维度不一样

    为什么要降维：去掉无用的特征，减少特征数量

    特征选择的原因：
        冗余：部分特征的相关度高，容易消耗计算性能
        噪声：部分特征对预测结果有影响

    降维的方式：
        特征选择：中特征中选出部分特征当作最后的特征作为机器学习的输入数据
            API：sklearn.feature_selection.VarianceThreshold
            主要方法：Filter（过滤式）：VarianceThreshold（Variance：方差。过滤式，即对方差进行过滤，把方差在一定范围内的（比如0，因为如果方差为0，就说明数据是一样的，没有意义）方差删除）
                                    从方差的大小考虑这个特征的所有样本
                    Embedded（嵌入式）：正则化、决策树
                    Wrapperr（包裹式）：基本用不到
            其他特征选择方法：神经网络

        主成分分析(PCA)：PCA是一种分析、简化数据集的技术
            目的：使数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息
            作用：可以削减回归分析或者聚类分析中特征的数量（数量会减少，数据也会改变）
            应用场景：如果特征数量达到上百的时候，则首先考虑需不需要使用PCA进行特征的简化
            API：sklearn.decomposition

            ps：个人理解：为什么叫主成分分析，因为其目的是需要让我们看到一张照片，就能够知道这张照片里面的是什么东西，即识别出照片中的主成分。
                所以主成分分析做的工作主要是降低数据的维度（比如从三维降为二维），但是主要的特征不能减少，还是需要能识别出物体

        高维度数据容易出现的问题&#