RFECV方法

递归特征消除简称RFE(Recursive Feature Elimination)，RFE是使用一个基模型进行多轮训练，每轮训练后，消除若干低权值(例特征权重系数或者特征重要性)的特征，再基于新的特征集进行下一轮训练[1]。RFE使用时，要提前限定最后选择的特征数(n_features_to_select)，这个超参很难保证一次就设置合理，因为设高了，容易特征冗余，设低了，可能会过滤掉相对重要的特征。而且RFE只是单纯基于特征权重去选择，没有考虑模型表现，因此RFECV出现了，REFCV是REF + CV(交叉验证)，它的运行机制是：先使用REF获取各个特征的ranking，然后再基于ranking，依次选择[min_features_to_select, len(feature)]个特征数量的特征子集进行模型训练和交叉验证，最后选择平均分最高的特征子集。
-----------------------------------
转载：https://blog.51cto.com/u_11215354/4925013

RFECV方法实现特征选择分成两个部分：

RFE（Recursive feature elimination）：递归特征消除，用来对特征进行重要性评级。
CV（Cross Validation）：交叉验证，在特征评级后，通过交叉验证，选择最佳数量的特征。
具体过程如下：

RFE阶段
1 初始的特征集为所有可用的特征。
2 使用当前特征集进行建模，然后计算每个特征的重要性。
3 删除最不重要的一个（或多个）特征，更新特征集。
4 跳转到步骤2，直到完成所有特征的重要性评级。
CV阶段
1 根据RFE阶段确定的特征重要性，依次选择不同数量的特征。
2 对选定的特征集进行交叉验证。
3 确定平均分最高的特征数量，完成特征选择。
原文链接：https://blog.csdn.net/ws19920726/article/details/105526541