机器学习算法基础第二天

一.特征选择

定义：特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选择了其中的一部分特征。

主要方法：
①Filter(过滤式):VarianceThreshold
② Embedded(嵌入式)：正则化、决策树
③ Wrapper(包裹式)

sklearn特征选择API： sklearn.feature_selection.VarianceThreshold

输出结果：

删除低方差的目的：因为当方差较低时，此特征比较接近，不易于区分或者区分后意义不大。

VarianceThreshold语法：
VarianceThreshold(threshold = 0.0) #删除所有低方差特征
Variance.fit_transform(X,y) ，X:numpy array格式的数据[n_samples,n_features]，返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

二.PCA（主成分分析）

2.1
本质：PCA是一种分析、简化数据集的技术。用于特征数量达到上百时，考虑数据的简化。高维度数据容易出现的问题：特征之间通常是线性相关的
目的：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
作用：可以削减回归分析或者聚类分析中特征的数量。

示例：