几种特征选择的方法汇总：RFE,卡方检验，方差分析，互信息法，以及两种嵌入的方法

最新推荐文章于 2024-03-25 18:44:04 发布
最新推荐文章于 2024-03-25 18:44:04 发布
阅读量4.1k 收藏 51
点赞数 4
分类专栏： 特征提取 文章标签： 特征选择 FRE 互信息 卡方检验 方差分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41978536/article/details/102828171
版权

最近处理数据的时候尝试了一下特征选择，在此记录一下常用的方法，以便日后查阅：
先贴一下原始数据：
在这里插入图片描述

1.RFE特征选择

在这里插入图片描述

2.方差分析

在这里插入图片描述

3.互信息法

在这里插入图片描述

4 卡方检验

在这里插入图片描述

5.1嵌入的方法：

基于L1范数：使用带惩罚项的基模型，除了筛选出特征外，同时也进行了降维
在这里插入图片描述

5.2嵌入的方法：

基于树模型的特征选择：树模型中GBDT也可用来作为基模型进行特征选择，使用feature_selection库的SelectFromModel类结合GBDT模型
在这里插入图片描述

qq_41978536
关注
  • 4
    点赞
  • 踩
  • 51
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Matlab实现基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法（Matlab完整程序和数据）
07-30
基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法，输出为选择的特征序号（Matlab完整程序和数据） Chinese: Options：可用的选项即表示的涵义如下 　　-s svm类型：SVM设置类型(默认0) 　　0 -- C-SVC 　　1 --v-SVC 　　2 – 一类SVM 　　3 -- e -SVR 　　4 -- v-SVR 　　-t 核函数类型：核函数设置类型(默认2) 　　0 – 线性：u'v 　　1 – 多项式：(r*u'v + coef0)^degree 　　2 – RBF函数：exp(-r|u-v|^2) 　　3 –sigmoid：tanh(r*u'v + coef0) 经过特征选择后，保留特征的序号为： 126 160 161 163 165 166 237 239 240 370 评价结果如下所示： 平均绝对误差MAE为：0.27933 均方误差MSE为： 0.15813 均方根误差RMSEP为： 0.39765 决定系数R^2为： 0.93392 剩余预测残差RPD为： 4.2631 平均绝对百分比误差MAPE为： 0.0032299 　
rfe查看选出的特征_特征选择怎么做？这篇文章告诉你
weixin_35455135的博客
01-10 4763
作者 | Pier Paolo Ippolito翻译 | Skura编辑 | 唐里原文标题：Feature Selection Techniques原文链接：https://towardsdatascience.com/feature-selection-techniques-1bfab5fe0784据《福布斯》报道，每天大约会有 250 万字节的数据被产生。然后，可以使用数据科学和机器学习技术对...
【理解机器学习算法】之特征选择(REF)
最新发布
Hyman Qiu
03-25 501
递归特征消除（RFE）是一种特征选择方法，用于通过递归减少特征集的大小来找出模型性能最佳的特征。RFE的工作原理是反复构建模型并选择最重要的特征（基于模型权重），然后去除最不重要的特征，直到达到指定的特征数量。这个过程依赖于模型对特征重要性的评估，通常与具有coef_或feature_importances_属性的模型一起使用，如线性模型、支持向量机或决策树。
MATLAB进行特征选择
02-09
特征选择是机器学习中的一项重要任务，其目标是从原始特征集中选择最具信息量的特征，以提高模型的性能、降低过拟合风险、加速训练过程，并提高模型的解释性。特征选择方法可以分为三大类：过滤式（Filter）、包裹式（Wrapper）、嵌入式（Embedded）。 1. **过滤式特征选择（Filter Methods）：** 这种方法在特征选择和模型训练之前独立进行。它通过对每个特征的统计量进行评估，然后根据这些评估结果选择特征。常见的过滤方法包括信息增益、方差分析、相关系数等。 2. **包裹式特征选择（Wrapper Methods）：** 这类方法使用特定的机器学习模型来评估特征的性能，通常包含了特征子集搜索的过程。常见的包裹方法有递归特征消除（Recursive Feature Elimination，RFE）、正向选择、反向消除等。 3. **嵌入式特征选择（Embedded Methods）：** 嵌入式方法将特征选择嵌入到模型训练的过程中。在训练过程中，模型会自动选择对目标任务最有用的特征。常见的嵌入式方法包括LASSO回归、决策树、支持向量机等。
论文研究-基于Relief和SVM-RFE的组合式SNP特征选择.pdf
07-22
针对SNP的全基因组关联分析面临SNP数据的高维小样本特性和遗传疾病病理的复杂性两大难点, 将特征选择引入SNP全基因组关联分析中, 提出基于Relief和SVM-RFE的组合式SNP特征选择方法。该方法包括两个阶段：Filter阶段, 使用Relief算法剔除无关SNPs; Wrapper阶段, 使用基于支持向量机的特征递归消减方法（SVM-RFE）筛选出与遗传疾病相关的关键SNPs。实验表明, 该方法具有明显优于单独使用SVM-RFE算法的性能, 优于单独使用Relief-SVM算法的分类准确率, 为SNP全基因组关联分析提供了一种有效途径。
基于支持向量机递归特征消除(SVM-RFE)的回归数据特征选择算法，输出为选择的特征序号（Matlab完整程序和数据）
07-30
Matlab基于支持向量机递归特征消除(SVM_RFE)的回归数据特征选择算法，matlab代码，输出为选择的特征序号（Matlab完整程序和数据） Matlab基于支持向量机递归特征消除(SVM_RFE)的回归数据特征选择算法，matlab代码，输出为选择的特征序号（Matlab完整程序和数据） Matlab基于支持向量机递归特征消除(SVM_RFE)的回归数据特征选择算法，matlab代码，输出为选择的特征序号（Matlab完整程序和数据） 经过特征选择后，保留特征的序号为： 126 160 161 163 165 166 237 239 240 370 -----------------------误差计算-------------------------- 评价结果如下所示： 平均绝对误差MAE为：0.27933 均方误差MSE为： 0.15813 均方根误差RMSEP为： 0.39765 决定系数R^2为： 0.93392 剩余预测残差RPD为： 4.2631 平均绝对百分比误差MAPE为： 0.0032299
使用RFE进行特征选择
热门推荐
QYHuiiQ
07-28 2万+
""" 使用RFE进行特征选择：RFE是常见的特征选择方法，也叫递归特征消除。它的工作原理是递归删除特征， 并在剩余的特征上构建模型。它使用模型准确率来判断哪些特征（或特征组合）对预测结果贡献较大。 """ from sklearn import datasets from sklearn.feature_selection import RFE from sklearn.linear_mod...
特征选择怎么做？这篇文章告诉你
Oner.wv的专栏
10-21 736
点击上方“AI派”，选择“设为星标”最新分享，第一时间送达！来源：AI开发者简介据《福布斯》报道，每天大约会有 250 万字节的数据被产生。然后，可以使用数据科学和机器学...
特征选择-皮尔逊系数、RFE（原理及代码）
qq_35575840的博客
08-01 6514
私人记录-面试简历皮尔逊系数RFE递归特征消除介绍python实现 简历 记录面试简历需要复习的一些知识。 皮尔逊系数 介绍： 皮尔逊相关也称为积差相关（或者积矩相关）。我们假设有两个变量X,Y,那么两变量间的皮尔逊相关系数计算如下： 其中E为数学期望，cov表示协方差，N表示变量取值的个数 相关系数的绝对值越大，相关性越强，相关系数越接近于1或-1，相关系数越接近于0，相关度越弱。 通向情况下通过一下取值范围判断变量的相关强度： 相关系数绝对值： 0.8-1.0 极强相关 0.6-0.8 强相关
rfe查看选出的特征_特征预处理
weixin_34776437的博客
01-15 1286
特征工程一般包含四部分特征使用特征获取特征处理特征监控本文主要介绍"特征处理"的方法确定标注（或者标记、标签、label）特征选择特征变换 （对值化、离散化、数据平滑、归一化、标准化、数值化、正则化）特征降维特征衍生确定标注针对监督学习，确定我们的目标标签、或者目标lable特征选择剔除与标注不相关或冗余的特征，减少特征的个数，缩小模型训练的时间。一定程度的减少过拟合，提高模型的精确度。 最终的目...
基于相似贡献度和SVM-RFE方法的特征基因选取 (2012年)
04-23
利用有限的基因芯片数据识别结肠癌特征基因集合, 对该疾病的临床诊断和生物医学研究起到有益的参考和借鉴作用. 针对该问题, 首先提出一种滤除分类无关基因的新方法――相似贡献度方法, 然后采有支持向量机递归特征消去方法（SVM-RFE）得到候选特征基因子集, 最后利用支持向量机（SVM）分类方法, 以训练集和测试集的错误分类数两个指标为依据, 选取得到最优特征基因集. 应用此方法于结肠癌数据, 分类准确率达到93.55%, 有比较好的分类结果, 也验证了上述方法的可行性和有效性.
【数据竞赛】懒人特征筛选算法！
fengdu78的博客
05-27 2235
作者：杰少Kaggle竞赛知识点--RFE！简 介Recursive Feature Elimination(RFE)算法是数据竞赛中最为流行的特征筛选方案之一，和我们平时在做try an...
rfe查看选出的特征_使用Python实现机器学习特征选择的4种方法（附代码）
weixin_42336892的博客
01-25 3940
作者：Sugandha Lahoti翻译：李洁校对：杨光本文约3500字，建议阅读13分钟。本文中，我们将研究从数据集中选择特征的不同方法;同时通过使用Python中Scikit-learn (sklearn)库实现讨论了特征选择算法的类型。注：本文节选自Ankit Dixit所著的《集成机器学习》(Ensemble Machine Learning)一书。这本书组合强大的机器学习算法来建立优化模...
特征选择
The_best_man的博客
11-28 1167
本篇文章我是按照自己的学习需求，不同的部分，我在之后会随着学习不断的完善，敬请谅解！ 特征选择分为三种：过滤式、包裹式以及嵌入式 过滤式：先对数据集进行特征选择，然后训练分类器 包裹式：直接把学习器的性能作为评价子集的标准 嵌入式： 过滤式 包裹式 RFE 这是普通的递归消除特征算法，是基于顶层的特征选择算法，建立在基于模型的特征选择方法基础之上的。使用回归和SVM，在不同的子集上建立模型，然...
【特征工程】特征选择方法
yingzoe的博客
04-19 795
目录 1. 为什么要进行特征选择？ 2.特征选择与特征降维的区别 3. 特征选择方法： 2.1 过滤式选择 假设检验的内涵 假设检验的步骤 卡方检验和F检验的区别： 2.2 包裹式选择 2.3 嵌入法选择 4. 高级特征 详细参考内容在这里~ 1. 为什么要进行特征选择？ （降维）减轻维度灾难的问题 去除不相关的特征往往可以降低学习任务的难度 2.特征选择与特征...
机器学习-特征选择：如何使用RFE与随机森林技术提升乳腺癌预测模型的效能？
笑不语的博客
03-20 1093
通过生成局部线性模型来近似原始模型的预测，LIME技术可以帮助用户理解模型在特定样本上的决策过程，提高模型的可解释性和信任度。因此，寻找一种有效的解释方法，能够准确地解释随机森林模型的预测结果，对于提高模型的可解释性至关重要。：SHAP基于博弈论中的Shapley值概念，通过计算特征值对预测结果的贡献度来解释模型的输出，从而确定每个特征对最终预测结果的影响。：LIME基于生成局部可解释性模型来解释模型的预测结果，通过在特定样本周围生成虚拟样本并训练解释性模型来近似原始模型的决策过程。
【Python机器学习】零基础掌握RFE特征选择
Mr数据杨
10-27 465
本次介绍的是算法，这是一个用于特征选择的工具。通过两个不同的应用案例—一个关于明朝的粮食与人口管理，另一个关于现代电商平台的客户满意度预测—展示了该算法的实用性和准确性。在两个案例中，该算法都成功地识别出了影响目标变量（人口增长率和客户满意度）的关键因素，并据此进行了准确的预测。优点总结，该算法非常适用于解决特征选择问题，特别是在有大量特征而不确定哪些特征最重要时。它能自动选择出对目标变量有最大影响的特征，从而简化模型并提高预测准确性。优点名称描述说明自动特征选择自动识别出影响目标变量最重要的特征。
R运行随机森林模型进行重要特征筛选及分类预测和性能评估
weixin_55929074的博客
09-28 289
Error in `[.default`(tab, 1:m, 1:m) : subscript out of bounds”应怎么改正？问题具体出现在那一步？# 使用修正后的 sizes_seq 进行特征选择。# 确保 sizes_seq 不超过特征数量。# 定义rfFuncs函数集合。# 使用最佳模型进行预测。# 划分训练集和测试集。# 打印最重要的特征。
随机森林的特征选择方法和RFE有什么区别
05-03
随机森林和RFE都是常用的...随机森林是基于树模型的特征选择方法，可以评估每个特征的重要性，而RFE是一种递归特征消除方法，可以通过反复训练模型来选择最佳的特征子集。选择哪种方法取决于具体的任务需求和数据特征。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值