特征选择就是从现有数据的所有特征中,选择部分特征作为训练集特征。
VarianceThreshold
VarianceThreshold可以删除所有低方差的特征,方差越低,特征值离散程度越低,参考价值也不大。
API使用
from sklearn.feature_selection.VarianceThreshold
vc = VarianceThreshold(threshold=0.0)
vc.fit_transform(X)
其中,threshold默认为0.0,删除方差小于等于threshold的特征。
PCA
PCA是一种分析、简化数据的技术。其目的是数据维度压缩,尽可能降低原始数据的维度,损失少量信息。
作用: 削减线性回归和聚类分析中的特征数量。
API使用
from sklearn.decomposition import PCA
pca = PCA(n_components = 0.9)
data = pca.fit_transform(X)
其中n_components可以用小数和整数表示,用小数表示代表降维后的主成分方差和最小所占比例的阈值,一般设置为90%~95%;用证书表示代表降维后的维度数量。
X表示需要转换的二维数组。