结论
过滤法更快速，但更粗糙。包装法和嵌入法更精确，比较适合具体到算法去调整，但计算量比较大，运行时间长。当数据量很大的时候，优先使用方差过滤和互信息法调整，再上其他特征选择方法。使用逻辑回归时，优先使用嵌入法。使用支持向量机时，优先使用递归消除特征。
1、读数据，定义测试函数
import pandas as pd
data = pd.read_csv(r'F:\教师培训\ppd7\df_Master_merge_clean.csv',encoding='gb18030')
pd_x = data[data.target.notnull()].drop(columns=['Idx', 'target', 'sample_status', 'ListingInfo'])
pd_y = data[data.target.notnull()]['target']
#定义画图auc函数
def get_auc(x, y):
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score, roc_curve
import lightgbm as lgb
#画出auc图的函数
def roc_auc_plot(clf,x_train,y_train,x_test, y_test):
train_auc = roc_auc_score(y_train,clf.predict_proba(x_train)[:,1])
train_fpr, train_tpr, _ = roc_curve(y_train,clf.predict_proba(x_train)[:,1])
train_ks = abs(train_fpr-train_tpr).max()
print('train_ks = ', train_ks)
print('train_auc = ', train_auc)
test_auc = roc_auc_score(y_test,clf.predict_proba(x_test)[:,1])
test_fpr, test_tpr, _ = roc_curve(y_test,clf.predict_proba(x_test)[:,1])
test_ks = abs(test_fpr-test_tpr).max()
print('test_ks = ', test_ks)
print('test_auc = ', test_auc)
from matplotlib import pyplot as plt
plt.plot(train_fpr,train_tpr,label = 'train_roc')
plt.plot(test_fpr,test_tpr,label = 'test_roc')
plt.plot([0,1],[0,1],'k--', c='r')
plt.xlabel('False positive rate')
plt.ylabel('True positive rate')
plt.title('ROC Curve')
plt.legend(loc = 'best')
plt.show()
x_train,x_test, y_train, y_test = train_test_split(x,y,random_state=2,test_size=0.2)
lgb_model = lgb.LGBMClassifier(n_estimators=800,
boosting_type='gbdt',
learning_rate=0.04,
min_child_samples=68,
min_child_weight=0.01,
max_depth=4,
num_leaves=16,
colsample_bytree=0.8,
subsample=0.8,
reg_alpha=0.7777777777777778,
reg_lambda=0.3,
objective='binary')
clf = lgb_model.fit(x_train, y_train,
eval_set=[(x_train, y_train),(x_test,y_test)],
eval_metric='auc',early_stopping_rounds=100)
roc_auc_plot(clf,x_train,y_train,x_test, y_test)
#定义基分类器
clf1 = lgb.LGBMClassifier(n_estimators=800,
boosting_type='gbdt',
learning_rate=0.04,
min_child_samples=68,
min_child_weight=0.01,
max_depth=4,
num_leaves=16,
colsample_bytree=0.8,
subsample=0.8,
reg_alpha=0.7777777777777778,
reg_lambda=0.3,
objective='binary')
2、各种方法如下
1.递归消除特征
SelectFromModel是一个元变换器，可以与任何在拟合后具有coef_，feature_importances_属性或参数中可选惩罚项的评估器一起使用（比如随机森林和树模型就具有属性feature_importances_，逻辑回归就带有l1和l2惩罚项，线性支持向量机也支持l2惩罚项）。
对于有feature_importances_的模型来说，若重要性低于提供的阈值参数，则认为这些特征不重要并被移除。feature_importances_的取值范围是[0,1]，如果设置阈值很小，比如0.001，就可以删除那些对标签预测完全没贡献的特征。如果设置得很接近1，可能只有一两个特征能够被留下。
而对于使用惩罚项的模型来说，正则化惩罚项越大，特征在模型中对应的系数就会越小。当正则化惩罚项大到
一定的程度的时候，部分特征系数会变成0，当正则化惩罚项继续增大到一定程度时，所有的特征系数都会趋于0。 但是我们会发现一部分特征系数会更容易先变成0，这部分系数就是可以筛掉的。也就是说，我们选择特征系数较大的特征。另外，支持向量机和逻辑回归使用参数C来控制返回的特征矩阵的稀疏性，参数C越小，返回的特征越少。Lasso回归，用alpha参数来控制返回的特征矩阵，alpha的值越大，返回的特征越少。
递归特征消除法（Recursive feature elimination, 简写为RFE），使用很少的特征达到很优秀的效果。
它反复创建模型，并在每次迭代时保留最佳特征或剔除最差特征，下一次迭代时，它会使用上一次建模中没有被选中的特征来构建下一个模型，直到所有特征都耗尽为止。 然后，它根据自己保留或
剔除特征的顺序来对特征进行排名，最终选出一个最佳子集。
代码如下（示例）：
from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import RandomForestClassifier as RFC
#只有fit,表示这是一个选择器，可以有属性
#n_features_to_select：是想要选择的特征个数
#support_：返回所有的特征的是否最后被选中的布尔矩阵
#ranking_:返回特征的按数次迭代中综合重要性的排名
#step表示每次迭代中希望移除的特征个数
c = RFE(clf1, n_features_to_select=i, step=50).fit(pd_x, pd_y)
c.support_.sum()
c.ranking_
#fit_transform返回筛选后的数据集
c = SelectFromModel(clf1, n_features_to_select=i, step=50).fit_transform(pd_x, pd_y)
##########################################################################
#利用交叉验证选择最优的特征个数，运行速度太长了，此结果没有出来，所以无法展示验证
axisx = range(1,250,10)
scores = []
for i in axisx:
x_wrapper = RFE(clf1, n_features_to_select=i, step=50).fit_transform(pd_x, pd_y)
score = cross_val_score(clf1,x_wrapper, pd_y, cv=5).mean()
scores.append(score)
plt.figure(figsize=(20,5))
plt.plot(axisx,scores, label='n_features_to_select-score')
plt.xticks(axisx)
plt.legend()
plt.show()
#如图筛选出最优特征个数113
x_rfe = RFE(clf1, n_features_to_select=113, step=50).fit_transform(pd_x, pd_y)
#画出auc曲线
get_auc(x_rfe, pd_y)
#416个特征降到113个特征，效果从test_auc = 0.74109449149997降到0.7322830868482363
2.Embedded嵌入法，又叫l1正则化
L1正则化会使得部分特征对应的参数为0，因此L1正则化可以用来做特征选择，结合嵌入法的模块SelectFromModel，我们可以很容易就筛选出让模型十分高效的特征。
代码如下（示例）：
1.先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小选择特征,这些权值系数往往代表了特征对于模型的某种贡献或某种重要性，比如决策树和树的集成模型中的feature_importances_属性，可以列出各个特征对树的建立的贡献，我们就可以基于这种贡献的评估，找出对模型建立最有用的特征。
from sklearn.feature_selection import SelectFromModel
from sklearn.model_selection import cross_val_score
#estimator：使用的模型评估器，只要是带feature_importances_或者coef_属性，或带有l1和l2惩罚项的模型都可以使用
#threshold：特征重要性的阈值，重要性低于这个阈值的特征都将被删除
# 选取重要性的最大值,目的是为了构造axisx,选择最优的threshold
m = clf1.fit(pd_x, pd_y).feature_importances_.max()
axisx = range(0,m+1,10)
#寻找最优threshold函数
'''
threshold默认为None，所以SelectFromModel只根据L1正则化的结果来选择了特征，即选择了所
有L1正则化后参数不为0的特征。我们此时，只要调整threshold的值（画出threshold的学习曲线），就可以观察
不同的threshold下模型的效果如何变化。一旦调整threshold，就不是在使用L1正则化选择特征，而是使用模型的
属性.coef_中生成的各个特征的系数来选择。
。coef_虽然返回的是特征的系数，但是系数的大小和决策树中的
feature_ importances_以及降维算法中的可解释性方差explained_vairance_概念相似，其实都是衡量特征的重要
程度和贡献度的，因此SelectFromModel中的参数threshold可以设置为coef_的阈值，即可以剔除系数小于
threshold中输入的数字的所有特征。
'''
def get_opt_thre(axisx):
scores = []
for i in axisx:
#threshold特征重要性的阈值，重要性低于这个阈值的特征都将被删除
#
embedded_x = SelectFromModel(clf1, threshold=i).fit_transform(pd_x, pd_y)
score = cross_val_score(clf1, embedded_x,pd_y, cv=5).mean()
scores.append(score)
plt.figure(figsize=(20,5))
plt.plot(axisx, scores, label='threshold-scores')
plt.xticks(axisx)
plt.legend()
plt.show()
get_opt_thre(axisx)
#观察下图，最优值在130左右，最大的特征重要分数是140，这样选择选到的特征极度少，所以不选取此值，推断可能是评价指标的问题。
选择30
axisx = range(25,36,1)
get_opt_thre(axisx)
#从图像上来看，随着阈值越来越高，模型的效果逐渐变差，被删除的特征越来越多，信息损失也逐渐变大
embedded_x = SelectFromModel(clf1, threshold=29).fit_transform(pd_x, pd_y)
get_auc(embedded_x, pd_y)
#416个特征降到120个特征，效果从test_auc = 0.74109449149997降到0.7269277027467951
3.相关性过滤之互信息法
互信息法是用来捕捉每个特征与标签之间的任意关系（包括线性和非线性关系）的过滤方法
feature_selection.mutual_info_classif（互信息分类）和feature_selection.mutual_info_regression（互信息回归）。互信息法比F检验更加强大，F检验只能够找出线性关系，而互信息法可以找出任意关系。互信息法不返回p值或F值类似的统计量，它返回“每个特征与目标之间的互信息量的估计”，这个估计量在[0,1]之间取值，为0则表示两个变量独立，为1则表示两个变量完全相关。以互信息分类为例的代码如下：
from sklearn.feature_selection import mutual_info_classif
res = mutual_info_classif(pd_x, pd_y)
mc = pd.DataFrame({'fname':pd_x.columns, 'micv':res})
f = mc[mc.micv>0]['fname']
get_auc(pd_x[f], pd_y)
#416个特征降到271个特征，效果从test_auc = 0.74109449149997降到0.7373713932080141
4.相关性过滤之F检验
# F检验，又称ANOVA，方差齐性检验，是用来捕捉每个特征与标签之间的线性关系的过滤方法,
# F检验分类用于标签是离散型变量的数据，而F检验回归用于标签是连续型变量的数据。
#原假设是”数据不存在显著的线性关系“。它返回F值和p值两个统计量。和卡方过滤一样，我们希望选取p值小于#0.05或0.01的特征，
#这些特征与标签时显著线性相关的，而p值大于0.05或0.01的特征则被我们认为是和标签没有显著线性关系的特征，应该被删除。
from sklearn.feature_selection import f_classif
F, p = f_classif(x,y)
sf = pd.DataFrame({'fname':x.columns, 'p':p})
fname = sf[sf.p<0.05]['fname']
get_auc(x[fname], y)
#416个特征降到201个特征，效果从test_auc = 0.74109449149997降到0.7360001348353649
5.相关性过滤之F检验
#卡方过滤是专门针对离散型标签（即分类问题）的相关性过滤。卡方检验类feature_selection.chi2计算每个非负特征和标签之间的卡方统计量，并依照卡方统计量由高到低为特征排名。由于数据集中含有负值，故不采用这种方式.
from sklearn.feature_selection import chi2, SelectKBest
#假设在这里我一直我需要300个特征
x_chi = SelectKBest(chi2, k=300).fit_transform(pd_x, y)
et_auc(x_chi, y)
6.方差过滤
通过特征本身的方差来筛选特征的类。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没有什么作用。所以无论接下来的特征工程要做什么，都要优先消除方差为0的特征。VarianceThreshold有重要参数threshold，表示方差的阈值，表示舍弃所有方差小于threshold的特征，不填默认为0，即删除所有的记录都相同的特征。
from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold() #实例化，不填参数默认方差为0
X_var0 = selector.fit_transform(X) #获取删除不合格特征之后的新特征矩阵
#发现没有方差为0的特征
最近邻算法KNN，单棵决策树，支持向量机SVM，神经网络，回归算法，都需要遍历特征或升维来进
行运算，所以他们本身的运算量就很大，需要的时间就很长，因此方差过滤这样的特征选择对他们来说就尤为重要。
但对于不需要遍历特征的算法，比如随机森林，它随机选取特征进行分枝，本身运算就非常快速，因此特征选择对它来说效果平平。
总结
通过观察我们发现递归消除法的效果相对来说很好，其次是嵌入法的效果，针对不同的模型采用不同的方法，理论部分来自菜菜机器学习。
7146
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
