20190625——特征降维 特征选择

降维 ——降低维度

ndarray 多维数组

降维降的不是嵌套的层数，
降维的对象是二维数组
降低列数，降低特征的个数

降维是指在某些特定的条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程。
降低随机变量的个数。

正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大。

效果：要求特征与特征之间不相关。

降维的两种方式

特征选择
主成分分析

特征选择

数据中包含冗余或相关变量（或称特征、属性、指标等），旨在从原有特征中找到主要特征

换句话说：如果你所有的样本都有同样的特征，那么我们就说这个特征是冗余的。比如鸟都有眼睛和腿。

Fitter（过滤式）：主要探究特征本身特点
分为方差选择法：低方差特征过滤
相关系数法 ——衡量特征与特征之间的相关性

Embedded（嵌入式）
决策树 第二天
正则化 第三天
深度学习 第五天的内容

sklearn中的一个类

如果每个特征大多的样本的值比较相近，那么特征方差小 ，这个特征可能跟目标值就没什么关系
如果方差阿，说明这个特征在很多样本中的值都不太一样，说明这个特征可能会影响目标值

保留方差比较大的特征

当我们threshold设置为0的时候，并没有删去一项特征，设置为5的时候，变成了8项，如果设置为10，变成了7项

相关系数
我们在这里用到的是皮尔逊相关系数

算出了相关系数

返回值的第一项是皮尔森相关系数，第二项是p_value值。一般来说皮尔森相关系数越大，p_value越小，线性相关性就越大。但是看到note里讲的。p_value不是完全的可靠，当数据量大于500的时候，可能是合理的。

当两个特征之间的相关性很高，应该如何处理？
1）选取其中一个
2）加权求和