python方差特征选择_特征选择-Filter过滤法（方差）

3.1 Filter过滤法

过滤方法通常用作预处理步骤，特征选择完全独立于任何机器学习算法。它是根据各种统计检验中的分数以及相关

性的各项指标来选择特征。

3.1.1 方差过滤

3.1.1.1 VarianceThreshold

这是通过特征本身的方差来筛选特征的类。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差

异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没有什么作用。所以无

论接下来的特征工程要做什么，都要优先消除方差为0的特征。VarianceThreshold有重要参数threshold，表示方

差的阈值，表示舍弃所有方差小于threshold的特征，不填默认为0，即删除所有的记录都相同的特征。

import pandas as pd

data = pd.read_csv("digit recognizor.csv")

X = data.iloc[:,1:]

y = data.iloc[:,0]

from sklearn.feature_selection import VarianceThreshold

selector = VarianceThreshold() #实例化，不填参数默认方差为0

X_var0 = selector.fit_transform(