Wrapper包装法
包装法在初始特征集上训练评估器,并且通过 coef_属性或通过feature_importances_属性获得每个特征的重要性。
然后,从当前的一组特征中修剪最不重要的 特征。
在修剪的集合上递归地重复该过程,直到最终到达所需数量的要选择的特征。
区别于过滤法和嵌入法的一次 训练解决所有问题,包装法要使用特征子集进行多次训练,因此它所需要的计算成本是最高的。
的“算法”,指的是专业的 数据挖掘算法
最典型的目标函数是递归特征消除法(Recursive feature elimination, 简写为RFE)
它是一种贪婪的优化算法, 旨在找到性能最佳的特征子集
它反复创建模型,并在每次迭代时保留最佳特征或剔除最差特征,下一次迭代时, 它会使用上一次建模中没有被选中的特征来构建下一个模型,直到所有特征都耗尽为止。然后,它根据自己保留或 剔除特征的顺序来对特征进行排名,最终选出一个最佳子集
类:sklearn.feature_selection.RFE (estimator, n_features_to_select=None, step=1, verbose=0)
- 参数estimator是需要填写的实例化后的评估器,
- n_features_to_select是想要选择的特征个数,
- step表示每次迭 代中希望移除的特征个数。
- 除此之外,RFE类有两个很重要的属性,
- .support_:返回所有的特征的是否最后被选 中的布尔矩阵
- _.ranking_返回特征的按数次迭代中综合重要性的排名。#排的越前越重要
类feature_selection.RFECV会在交叉 验证循环中执行RFE以找到最佳数量的特征,增加参数cv,其他用法都和RFE一模一样。
from sklearn.feature_selection import RFE
RFC_ = RFC(n_estimators =10,random_state=0)
#随机森林实例化
selector = RFE(RFC_, n_features_to_select=340, step=50).fit(X, y)
#RFE实例化,想要选择的特征340个,这的340是嵌入法发现的,删除50个
selector.support_.sum()
#返回340
selector.ranking_
#返回排名
X_wrapper = selector.transform(X)
#返回选择后的特征矩阵
cross_val_score(RFC_,X_wrapper,y,cv=5).mean()
——————————————————————
0.9389522
学习曲线:
score = []
for i in range(1,751,50):
X_wrapper = RFE(RFC_,n_features_to_select=i, step=50).fit_transform(X,y)
once = cross_val_score(RFC_,X_wrapper,y,cv=5).mean()
score.append(once)
plt.figure(figsize=[20,5])
plt.plot(range(1,751,50),score)
plt.xticks(range(1,751,50))
plt.show()