（天池）零基础入门数据挖掘-心跳信号分类预测总结笔记（三）

1、方差选择法
使用方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征。
函数：sklearn.feature_selection.VarianceThreshold
用法：from sklearn.feature_selection
import VarianceThreshold
#方差选择法，返回值为特征选择后的数据
#参数threshold为方差的阈值
VarianceThreshold(threshold=3).fit_transform(iris.data)

2、卡方选择法
经典的卡方检验是检验定性自变量对定性因变量的相关性。
函数：sklearn.feature_selection.SelectKBest
用法：from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
#选择K个最好的特征，返回选择特征后的数据
SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)
3、递归特征消除法
递归消除特征法使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。
函数：sklearn.feature_selection.RFE
用法：from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
#递归特征消除法，返回特征选择后的数据
#参数estimator为基模型
#参数n_features_to_select为选择的特征个数
RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)

4、基于惩罚项的特征选择法
使用带惩罚项的基模型，除了筛选出特征外，同时也进行了降维。
函数：sklearn.feature_selection .SelectFromModel
用法：from sklearn.feature_selection
import SelectFromModel
from sklearn.linear_model
import LogisticRegression
#带L1惩罚项的逻辑回归作为基模型的特征选择SelectFromModel(LogisticRegression(penalty=“l1”, C=0.1)).fit_transform(iris.data, iris.target)

5、基于树模型的特征选择法
树模型中GBDT也可用来作为基模型进行特征选择。
函数：sklearn.preprocessing.Imputer
用法：from sklearn.feature_selection
import SelectFromModel
from sklearn.ensemble
import GradientBoostingClassifier
#GBDT作为基模型的特征选择
SelectFromModel(GradientBoostingClassifier()).fit_transfor：m(iris.data, iris.target)