特征选择/筛选方法总结

置顶 已于 2024-12-28 12:48:45 修改
阅读量8.3w 收藏 683
点赞数 68
分类专栏： 学习笔记 人工智能 特征工程 文章标签： 特征筛选 特征选择 降维 单变量特征选择 特征工程
于 2019-03-30 14:51:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jliang3/article/details/88912464
版权

作者：jliang

J-JunLiang-CSDN博客

1.特征选择介绍

1）特征分类

  • 相关特征：对于学习任务（例如分类问题）有帮助，可以提升学习算法的效果；
  • 无关特征：对于我们的算法没有任何帮助，不会给算法的效果带来任何提升；
  • 冗余特征：不会对我们的算法带来新的信息，或者这种特征的信息可以由其他的特征推断出；

2）特

了解本专栏 订阅专栏 解锁全文 超级会员免费看
机器学习笔记 - 模式识别之图像特征提取和特征选择的基本方法总结
学以致用 知行合一
01-02 4632
从模式识别角度来讲，视觉信息的特征获取是机器视觉的一个关键环节。一个机器视觉与模式识别系统的成败，首先取决于其所利用的特征能否较好地反映将要研究的分类问题。如果数据被很好地表达成了特征，通常线性模型就能达到满意的分类效果。因此，对于模式识别系统的创建，特征的选择和提取是需要优先考虑的。仅从图像角度来看，图像特征的提取和选择是图像处理过程中非常重要的环节，对后续的图像分类有重要影响，图像数据具有样本少、维数高的特点。为了从图像中提取有用的信息，有必要对图像特征进行降维处理。
ML之CSI：特征稳定性指标(Characteristic Stability Index)的简介(特征筛选/特征监控、对比CSI和PSI指标)、使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-20 2906
ML之CSI：特征稳定性指标(Characteristic Stability Index)的简介(特征筛选/特征监控、CSI和PSI指标对比)、使用方法、案例应用之详细攻略 目录 CSI(特征稳定性指标)的简介 1、CSI特征稳定性指标的概述(特征筛选/特征监控) 2、CSI和PSI指标对比 CSI(特征稳定性指标)的使用方法 CSI(特征稳定性指标)的案例应用 CSI(特征稳定性指标)的简介 1、CSI特征稳定性指标的概述(特征筛选/特征监控) 简介 特征
【python】数据挖掘分析清洗——特征选择（特征筛选）方法汇总
weixin_47058355的博客
04-27 1万+
特征构造得到足够的广度后，将这些特征进行筛选特征选择主要有两个功能：减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解通常来说，从两个方面考虑来选择特征：特征是否发散：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。特征与目标的相关性：这点比较显见，与目标相关性高的特征，应当优选选择特征选择指的是从原始数据中选择最具有代表性和重要性的特征，保留这些特征并去除无用或冗余的特征。
如何进行特征选择？
keepreder
08-04 1万+
特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解    拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，我们经常不管三七二十一，选择
模型特征筛选
最新发布
zhglhy的专栏
04-11 227
特征筛选是机器学习模型构建中的关键步骤，它可以帮助提高模型性能、减少过拟合、加速训练过程并增强模型可解释性。
特征选择方法最全总结！
热门推荐
Datawhale
09-30 5万+
上个月扫读完《阿里云天池大赛赛题解析》[1]后，看到书中对特征选择的讲述，于是便打算借此机会，系统梳理下各种特征选择方法。如有不足，还望指正。一、背景介绍在处理结构型数据时，特征工程中的特...
特征工程-特征筛选
qq_41914036的博客
01-23 3064
在机器学习和数据科学领域，特征筛选是优化模型性能和提高计算效率的关键步骤。当数据集包含大量特征时，不仅增加了计算成本，还可能引入噪声和冗余信息，影响模型的泛化能力。因此，通过特征筛选，让我们能够从原始特征集中挑选出最具信息量的特征，提高模型的预测准确性和可解释性。本文介绍了特征筛选三种方法：过滤法（Filter）、包装法（Wrapper）、嵌入法（Embedded）。
特征筛选方法总结
mataolc的博客
11-26 717
在训练过程中，一些不重要的特征的权重会逐渐减小到零，从而实现特征的自动选择。基于模型的特征重要性排序是一种利用模型自带的特征重要性评分机制来进行特征筛选的方法。例如，在决策树和随机森林等树形模型中，每个特征对模型预测的贡献可以被计算出来，从而得到特征的重要性排序。特征筛选是机器学习和数据分析中不可或缺的一环，其目的是从原始数据集中选择出最相关、最有代表性的特征，以提高模型的性能和效率。在特征筛选中，我们可以计算每个特征与目标变量之间的皮尔逊相关系数，来选择与目标变量最相关的特征。
特征选择（筛选特征）
weixin_63016274的博客
10-21 1万+
选择特征的好坏
特征选择,特征选择的三种方法,matlab
09-10
特征选择是机器学习和数据分析...总结起来，特征选择对于优化机器学习模型至关重要。在MATLAB中，我们有多种工具和方法可供选择，如`featSelOptions.m`等，可以帮助我们在实际项目中高效地进行特征选择，提升模型性能。
fcbf特征选择步骤_图像特征提取与特征选择基本方法总结
weixin_35831256的博客
02-23 1582
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/zx799959906/article/details/39369543图像特征的提取和选择是图像处理过程中很重要的环节，对后续图像分类有着重要的影响，并且对于图像数据具有样本少，维数高的特点，要从图像中提取有用的信息，必须对图像特征进行降维...
如何做特征筛选
Toby的博客
12-05 2937
工作中做模型，首先很重要的一步就是特征工程，包括特征编码、特征归一、特征筛选等。 这里聊一下工作中常用的做特征筛选的方法。 特征覆盖率 特征封箱，即优势比 IV值 GAIN信息增益 CHI卡方 基于模型的筛选 1、特征覆盖率 对于样本，有多少用户有此特征，缺失情况如何。一般要求特征覆盖率大于一定阈值。 2、特征封箱测试 即特征在正样本、负样本中的占比对比测试。选择特征：pct_1/pct_0<=0.8 || pct_1/pct_0=>1.2 3、根据IV值、GAIN..
特征选择
kanyun157的专栏
12-31 287
特征选择是指从一组给定的特征集中，按照某一准则选择出一组具有良好区分特性的特征子集。特征选择又称独立评估法，在进行特征选择时一般都是利用某种评价函数独立地对每个原始特征项进行评分，然后将它们按分值的高低排序，从中选取若干个分值最高的特征项。 特征选择实际包含两个方面：特征提取和特征选择。特征提取是一种将数据从高维空间到低维空间的变换，达到降维的目的；特征选择是指从一组特征中去除冗余或不相关的特...
特征选择常用算法综述
weixin_34007906的博客
05-03 4220
1 综述   (1) 什么是特征选择 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。   (2) 为什么要做特征选择        在机器学习的实际应用中，特征数量往往较多，其中...
特征选择方法汇总
每天净瞎搞
10-24 4229
这篇博客汇总了目前的流行的各种特征选择方法
特征选择与提取-过滤法
lihe的博客
12-29 3151
特征抽取是数据挖掘任务最为重要的一个环节，一般而言，它对最终结果的影响要高过数据挖掘算法本身。 不幸的是，关于怎样选取好的特征，还没有严格、快捷的规则可循，其实这也是数据挖掘科学更像是一门艺术的所在。创建好的规则离不开直觉，还需要专业领域知识和数据挖 掘经验，光有这些还不够，还得不停地尝试、摸索，在试错中前进，有时多少还要靠点运气。通常特征数量很多，但我们只想选用其中一小部分。有如下几个原因。1、降低复杂度随着特征数量的增加，很多数据挖掘算法需要更多的时间和资源。减少特征数量，是提高算法运行速度，减少资源使
机器学习常用特征筛选方法
芸兮的博客
10-24 1万+
赛题回顾 抗胰腺癌候选药物分子优化建模 Mole—文件提供了候选药物分子的784个属性值，包含training和test两个表，分别有1974个分子和50个分子。 ER-----文件提供了这些候选分子的IC50和pIC50值的大小，用于衡量分子活性，其中pIC50是IC50的负对数，取负对数的原因是为了使pIC50大小与分子活性呈正相关。同样包含training表和test表，training表中分子活性标志值pIC50已经给出，test表中的值未给，是问二需要自己预测的值 问一：从分子的784个属性特征中
常用特征选择
qq602683200的博客
10-21 1115
#常用特征选择方法 特征选择对于数据科学家、已经机器学习有关研究人员非常重要，通过减少特征数量、增加模型泛化能力，减少过拟合，能够增加特征之间的理解，降低学习任务的难度，提升模型的效率。常用的特征选择法分为： 目录1. 过滤式（filter）1.1 方差选择法1.2 相关系数法1.3 卡方检验法2. 包裹式（wrapper）3.嵌入式（embedding） 1. 过滤式（filter） 通过一定的统计方法对每个特征进行评分排序，然后按照一定的规则过滤出最优的特征子集，然后在训练学习器，由于过滤不需要考虑后续
特征筛选
03-27
### 特征筛选的方法与工具 特征筛选是机器学习中的关键环节之一，旨在减少冗余特征并提升模型性能。以下是几种常见的特征筛选方法及其对应的工具： #### 1. **向后淘汰法** 向后淘汰法是一种基于统计显著性的特征选择技术，它从完整的特征集合开始，逐步移除对模型贡献最小的特征[^2]。这种方法的核心在于每次迭代中评估每个特征的重要性，并删除最不重要的那个。此过程重复执行直到达到预设条件为止。 #### 2. **XGBoost 的特征重要性** XGBoost 是一种高效的梯度提升框架，在其中可以通过 `feature_importances_` 属性获取各个特征的重要程度得分[^3]。这些分数反映了各特征对于决策树分裂的影响大小。利用 XGBoost 进行特征选择的一个典型流程如下所示： ```python from sklearn.feature_selection import SelectFromModel import xgboost as xgb model = xgb.XGBClassifier() model.fit(X_train, y_train) selection = SelectFromModel(model, prefit=True) select_X_train = selection.transform(X_train) ``` #### 3. **SHAP 值分析** SHAP (SHapley Additive exPlanations) 提供了一种统一的方式来解释任意机器学习模型输出的结果[^4]。相比于传统的特征重要性衡量方式，SHAP 能够更精确地反映单个样本层面的特征影响。通过 SHAP 图形化展示功能，还可以直观理解哪些因素正向或者负向推动预测值变化。 #### R语言中的特征筛选实践 除了 Python 外，在 R 中同样存在多种手段用于完成这一任务。例如可以借助 caret 包内的 recursive feature elimination 功能实现自动化特征挑选；也可以采用随机森林等内置机制评定变量效用[^1]。 ```r library(caret) set.seed(123) rf_rfe <- rfe(x, y, sizes=c(1:ncol(x)), rfeControl=rfeControl(functions=rfFuncs)) print(rf_rfe) ``` 上述代码片段展示了如何运用caret包里的rfe函数来进行递归特性消除操作。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值