特征锦囊：使用包裹法（Wrapper）对高维特征进行降维

今日锦囊

特征锦囊：使用包裹法（Wrapper）对高维特征进行降维

🚅 Index

• 原理与实现

原理与实现

Wrapper方法是根据目标函数（一般为预测效果评分），每次选择若干N个特征，或者是剔除若干K个特征。它与Filter法的区别就是，Wrapper的特征选择是直接把最终将要使用的模型的性能指标作为特征子集的评价标准，它的目的在于选择给定模型最有效果的特征子集。

常见的Wrapper法有RFE、SFS等。其中RFE，全称Recursive Feature Elimination，中文为特征递归消除，该算法通过增加或者移除特定特征变量来获得最大化模型性能的特征子集。首先在预测模型上给原始特征指定权重，之后每次递归就剔除最小绝对值权重的特征，直到剩余的特征数量满足期望。

下面是关于RFE的实现代码，可以参考：

# RFE 
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = df.drop(['target'],axis=1)
Y