递归式特征消除：Recursive feature elimination(RFE)

最新推荐文章于 2024-01-18 11:43:46 发布
最新推荐文章于 2024-01-18 11:43:46 发布
阅读量2w 收藏 24
点赞数 6
分类专栏： 机器学习

此算法是用来进行特征选择，属于包装法特征选择算法的其中一种。递归消除特征法使用一个机器学习模型来进行多轮训练，每轮训练结束后，消除若干权值系数对应的特征，再基于新的特征集进行下一轮训练。

那么在以经典的SVM-RFE算法中来讨论此算法。首先，在每一轮训练过程中，会选择所有特征来进行训练，继而得到了分类的超平面w*x+b=0，如果有n个特征，那么SVM-RFE会选择出w中分量的平方值最小的那个序号i对应的特征，将其删除；在第二类的时候，特征数就剩下了n-1个，继续用这n-1个特征和输出值来训练SVM；同样的，继续去掉w中分量的平方值最小所对应的特征。以此类推，直到剩下的特征数满足我们的要求为止。

具体到SVM在sklearn中应用时，可以通过学习器返回的coef_属性或feature_importance_属性来获得每个特征的重要程度，然后从当前的特征集合中移除不重要的特征。在特征集合上不断重复上述过程，直到最终达到所需要的特征数量为止。


w 2 w 2
IT独白者
关注
  • 6
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rfe查看选出的特征_递归式特征消除：Recursive feature elimination
weixin_33335851的博客
01-13 1412
简述特征的选取方式一共有三种，在sklearn实现了的包裹式(wrapper)特诊选取只有两个递归式特征消除的方法，如下：recursive feature elimination ( RFE )通过学习器返回的 coef_ 属性 或者 feature_importances_ 属性来获得每个特征的重要程度。 然后，从当前的特征集合中移除最不重要的特征。在特征集合上不断的重复递归这个步骤，直到最终...
Wrapper递归特征消除 (Recursive Feature Elimination)
u010970317的博客
05-12 1402
特征选择三法宝：过滤法（Filter）、包裹法（Wrapper）、嵌入法（Embedding） 过滤法（Filter）：按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征 包裹法（Wrapper）：根据目标函数，每次选择若干特征或者排除若干特征，直到选择出最佳的子集。 嵌入法（Embedding）：先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来确定特征的优劣。 递归消除特征法使用一个基模型.
递归式特征消除：Recursive feature elimination
热门推荐
FontTian的博客
01-08 3万+
简述 特征的选取方式一共有三种，在sklearn实现了的包裹式(wrapper)特诊选取只有两个递归式特征消除的方法，如下： recursive feature elimination ( RFE )通过学习器返回的 coef_ 属性 或者 feature_importances_ 属性来获得每个特征的重要程度。 然后，从当前的特征集合中移除最不重要的特征。在特征集合上不断的重复递归这个步骤
递归特征消除(Recursive Feature Elimination）原理与Sklearn实现
LonghaoJia的博客
03-26 1万+
递归特征消除(Recursive Feature Elimination) 参考： Guyon, I., Weston, J., Barnhill, S., & Vapnik, V., “Gene selection for cancer classification using support vector machines”, Mach. Learn., 46(1-3), 389–422, 2002. https://link.springer.com/article/10.1023/A:1
[机器学习] 特征选择笔记3-递归式特征消除
You and Me
07-09 1万+
特征选择 代码下载 本文主要介绍sklearn中进行特征选择的方法。 sklearn.feature_selection模块中的类可用于样本集的特征选择/降维，以提高估计量的准确性得分或提高其在超高维数据集上的性能。 递归式特征消除Recursive feature elimination(RFE) 给定一个为特征(如线性模型的系数)分配权重的外部估计量，递归特征消除(RFE)就是通过递归地考虑越来越小的特征集来选择特征。首先，对初始特征集训练估计器，通过coef_属性或feature_importance
特征递归消除法 Recursive feature elimination（RFE）
weixin_43837522的博客
01-18 1422
RFE过程尽管会用到feature_importances_进行特征筛选，但RFE过程只是对模型进行简单训练，并未进行超参数搜索等模型优化，这会使得每一轮的模型都是过拟合的，而基于过拟合模型产出的feature_importances_进行的特征筛选，结果并不可靠。要解决该问题，sklearn提供了一个非常便捷的方法，即在实例化RFE评估器时带入一个已经经过网格搜索调参后的模型，即可每一轮特征重要性评估时使用已经训练好的模型，而该模型是已经经过剪枝的决策树模型，不会再表现出过拟合倾向。
RFE递归式特征消除
数据科学汇集
01-18 7013
RFE递归式特征消除 1 声明 本文的数据来自网络，部分代码也有所参照，这里做了注释和延伸，旨在技术交流，如有冒犯之处请联系博主及时处理。 2 RFE递归式特征消除简介 RFE（Recursive Feature Elimination）是特征选择的算法.它的工作原理是从训练数据集中的所有特征开始搜索特征子集，并成功地删除特征，直到保留所需的数量。这是通过对给定的算法模型进行拟合，按重要性对特征进行排序，丢弃最不重要的特征，并重新拟合模型来实...
sklearn学习——递归特征消除法（RFE）
Chris683的博客
05-11 3万+
sklearn——递归特征消除法（RFE） 1 作用 消除特征之间的冗余，选取最优特征组合。 降低特征维数。 2 步骤 将筛选的k个特征作为初始特征子集输入到随机森林分类器中，计算得到每个特征的重要性，并利用交叉验证方法得到初始特征子集的分类精度； 从当前特征子集中移除特征重要性最低的一个特征，得到一个新的特征子集，再次输入到随机森林分类器中，计算新的特征子集中每个特征的重要性，并利用交叉验证方法得到新的特征子集的分类精度。 递归的重复步骤2，直至特征子集为空，最后一共得到k个不同特征数量的特征子集，
基于极限树特征递归消除和LightGBM的异常检测模型.docx
06-17
作者提出了一个基于ET-RFE（Extreme Tree-based Recursive Feature Elimination）的特征选择方法，并使用LightGBM算法进行模型训练。该模型能够有效地检测网络入侵攻击，并提高了入侵检测的效率。 在入侵检测领域中...
论文研究-基于Lasso与RFE特征消除的RVM旋转机械故障预测.rar
06-19
基于Lasso与RFE特征消除的RVM旋转机械故障预测.rar”主要探讨了如何利用机器学习方法，特别是Lasso回归（Least Absolute Shrinkage and Selection Operator）和递归特征消除（Recursive Feature Elimination,...
MATLAB进行特征选择
最新发布
02-09
常见的包裹方法有递归特征消除（Recursive Feature Elimination，RFE）、正向选择、反向消除等。 3. **嵌入式特征选择（Embedded Methods）：** 嵌入式方法将特征选择嵌入到模型训练的过程中。在训练过程中，模型...
Data_Science:特征选择-基本特征选择方法
03-09
2. **递归消除法（Recursive Feature Elimination, RFE）**：这是一种基于模型性能的特征选择方法。首先，我们训练一个初始模型，然后根据该模型中各个特征的重要性排名，逐步剔除最不重要的特征，重复此过程，直到...
相似性算法特征选取（自阅）
05-25
包裹式方法如RFE（Recursive Feature Elimination）通过递归消除弱特征来优化模型，而Lasso回归则内置了嵌入式特征选择。 在实际应用中，特征工程是特征选取的重要环节。这包括对原始数据进行预处理，如标准化、...
caret教程07：递归特征消除
医学和生信笔记的博客
09-16 1126
caretmlr3tidymodels今天给大家介绍caret中的递归特征消除法。递归特征消除(recursive feature elimination, rfe)是变量筛选的方法之一，属于包装法，同时也是向后选择法。caret中的rfe的基本做法是这样的：对模型进行多次训练，每次训练后消除不重要的特征（这个可以用变量重要性、变量的系数等衡量，不同算法有不同的衡量标准），再使用剩下的特征继续训练。在caret中通过rfeIter和rfe分别实现递归特征消除和交叉验证的递归特征消除。
【数据挖掘】金融风控 Task03 特征工程
一一xi的博客
09-21 927
【数据挖掘】金融风控 Task03 特征工程特征工程介绍数据预处理查找出对象和数值特征进行缺失值填充时间格式处理对象类特征的处理类别特征处理异常值的处理数据分箱固定宽度分箱分数位分箱卡方分箱和其他分箱方法的尝试特征交互特征编码特征选择 学习地址：https: //github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl 天池竞赛地址：https://tianchi.aliyun.com/comp
python特征递归消除
Z_W_H_的博客
01-11 3977
特征递归消除官方给了两者方法 1.RFE 2.RFECV 一.RFE 官方解释 链接：sklearn.feature_selection.RFE — scikit-learn 1.0.2 documentationhttps://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.RFE.html?highlight=rfe#sklearn.feature_selection.RFE给定一个为...
递归消除特征法RFE筛选特征-包装法-特征选择-特征降维
糯米君的博客
06-20 1224
RFE（Recursive feature elimination）：递归消除特征法使用一个基模型（这里使用逻辑回归）来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。
特征选择的方法：包裹法之递归特征消除
m0_72274883的博客
11-26 1673
递归特征消除法是一种贪婪的优化算法，致力于通过反复创建模型的方式找到性能最佳的特征子集。递归特征消除（RFE）的基本原理是基于模型准确率来判断哪些特征（或特征组合）对响应变量预测结果贡献较大，并递归删除特征，最终在剩余的特征上构建模型。
Recursive feature elimination with cross-validation代码实现
05-17
以下是使用sklearn库实现的递归特征消除（RFE）和交叉验证的代码示例： ```python from sklearn.feature_selection import RFECV from sklearn.linear_model import LinearRegression from sklearn.datasets import load_boston # 加载数据集 boston = load_boston() # 定义线性回归模型 lr = LinearRegression() # 定义递归特征消除交叉验证对象 rfecv = RFECV(estimator=lr, step=1, cv=5, scoring='neg_mean_squared_error') # 训练模型并进行特征选择 rfecv.fit(boston.data, boston.target) # 输出最优特征数量和最优特征排名 print("最优特征数量：", rfecv.n_features_) print("最优特征排名：", rfecv.ranking_) ``` 在这个示例中，我们首先加载了波士顿房价数据集。然后，我们定义了一个线性回归模型和一个RFECV对象。我们指定了每次迭代时要删除一个特征，使用5折交叉验证进行模型评估，并使用负均方误差作为评分指标。最后，我们拟合了模型并输出了最优特征数量和最优特征排名。 需要注意的是，RFECV的计算成本较高，特别是在特征数量较多的情况下。因此，我们可能需要使用更快的模型或更小的数据集来加速计算过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值