数据预处理-方差过滤对模型的影响（VarianceThreshold）

最新推荐文章于 2023-02-02 15:11:24 发布
最新推荐文章于 2023-02-02 15:11:24 发布
阅读量2.6k 收藏 10
点赞数 4
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41798592/article/details/101352452
版权
本文探讨方差过滤对方差过滤对模型的影响，以KNN和随机森林为例，展示了经过方差过滤后，模型准确率的提升和运行时间的显著减少。对于KNN，准确率提高，运行时间减少1/3；随机森林则保持高效，准确率略有上升。
摘要由CSDN通过智能技术生成

方差过滤对模型的影响

我们这样做了以后，对模型效果会有怎样的影响呢？在这里，我为大家准备了KNN和随机森林分别在方差过滤前和方差过滤后运行的效果和运行时间的对比。KNN是K近邻算法中的分类算法，其原理非常简单，是利用每个样本到其他样本点的距离来判断每个样本点的相似度，然后对样本进行分类。KNN必须遍历每个特征和每个样本，因而特征越多，KNN的计算也就会越缓慢。

1. 导入模块并准备数据
在这里插入图片描述
我们从模块neighbors导入KNeighborsClassfier缩写为KNN，导入随机森林缩写为RFC，然后导入交叉验证模块和numpy。其中未过滤的数据是X和y，使用中位数过滤后的数据X_fsvar，都是我们之前已经运行过的代码

2. KNN方差过滤前
在这里插入图片描述
在这里插入图片描述

3. KNN方差过滤后
在这里插入图片描述

最低0.47元/天 解锁文章
Justin_stf
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
特征工程之特征选择(1)----方差过滤
weixin_43776305的博客
05-29 4109
文章目录特征工程概述特征工程的三个步骤特征选择之前的注意事项方差过滤法示例数据下载导入相关模块加载数据特征标签分离删除方差为0的特征get_support()方法查看特征的删除情况设置阈值，删除特征方差过滤对模型的影响对随机森林的影响原始数据的运行时间与表现过滤后的运行时间与表现对KNN模型的影响原始数据的运行时间与表现过滤后的运行时间与表现选取超参数threshold方差过滤的影响总结 特征工程概述 特征工程(feature engineering)是将原始数据转换为更能代表预测模型的潜在问题的特征的过程
python方差特征选择_特征选择-Filter过滤法（方差）
weixin_39699070的博客
12-07 2398
3.1 Filter过滤法过滤方法通常用作预处理步骤，特征选择完全独立于任何机器学习算法。它是根据各种统计检验中的分数以及相关性的各项指标来选择特征。3.1.1 方差过滤3.1.1.1 VarianceThreshold这是通过特征本身的方差来筛选特征的类。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没...
特征选择过滤法-方差过滤、F检验、互信息法
weixin_60200880的博客
09-27 5696
在sklearn中，决策树和随机森林都是随机选择特征进行分枝，但决策树在建模过程中随 机抽取的特征数目却远远超过随机森林当中每棵树随机抽取的特征数目（比如对于这个 780维的数据，随机森林每棵树只会抽取10-20个特征，而决策树可能会抽取200~400个 特征），因此，过滤法对随机森林无用，却对决策树有用。所以无论接下来的特征工程要做什么，通过这条曲线，可以观察到，随着k值的不断增加，模型的表现不断上升，这说明，k越大越好，数据中所有的特征都是与特征相关的。
数据预处理之方差过滤
weixin_44210796的博客
09-10 9116
数据预处理之方差过滤 在机器学习的数据预处理的过程中常常会是使用到过滤法，而方差过滤是过滤法之一。所谓的方差过滤就是过滤掉那些特征方差较小的特征。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没有什么作用。所以可以设置一个过滤的阈值，过滤掉那些方差小的特征，从而达到特征筛选的目的。 在 sklearn中可以调用from sklearn.feature_selection import VarianceThresho
特征选择1：过滤法1~方差过滤
weixin_51871375的博客
10-14 1630
概述： 1.过滤法 全部特征->最佳特征子集->算法->模型评估 过滤完全独立于任何机器学习算法 根据各种统计检验中的分数以及各种相关性指标来选择特征。 Filter过滤 1.方差过滤 (1).一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，没有区分的作用。 优先消除方差为0的特征。 Variance Threshold 第一类是标签y 其他全是features~X 一共784行 (2)默认VarianceThreshold()中为方差为0 from sklearn.
数据预处理-特征选择
04-27
关于数据预处理，特征选择的主要技术原理，包括特征离散化，特征交叉，单特征/多特征AUC，残差分析，方差选择法，卡方检验，互信息特征选择，逻辑回归计算特征重要度，距离相关系数，衡量数据分布的箱线图介绍等。
数据回归-异方差截尾线性回归模型参数极大似然估计的存在性.pdf
06-26
"数据回归-异方差截尾线性回归模型参数极大似然估计的存在性.pdf" 本文档讨论了异方差截尾线性回归模型参数的极大似然估计的存在性问题。该模型是在数据回归中广泛应用的，特别是在可靠性研究中。异方差截尾线性...
工业大数据分析-方差分析教学讲义.docx
02-13
方差分析又称“变异数分析”，用于解决一个因素对另外一个因素是否存在显著性影响的问题。本讲义将通过一个风电领域的实践案例，展示如何使用方差分析进行数据分析。 方差分析是解决工业大数据分析中两个及两个以上...
数据筛选特征方法-方差法
12-21
在数理统计中，方差是测算随机变量离散趋势最重要、最...sklearn库中的用于特征选择的函数，使用VarianceThreshold法，先要计算各个特征的方差，然后根据阈值，剔除方差大于阈值的特征。 # -*- coding:utf-8 -*- impor
数据回归-平滑样条回归模型变点估计.pdf
06-26
数据回归-平滑样条回归模型变点估计.pdf 本文档主要介绍了数据回归-平滑样条回归模型变点估计的相关知识点。...结论及未来的工作部分总结了数据回归-平滑样条回归模型变点估计的主要内容，并对未来的工作进行了展望。
方差过滤: Removing features with low variance
weixin_30640291的博客
01-07 434
方差特征选择的原理与使用 VarianceThreshold 是特征选择的一个简单基本方法,其原理在于–底方差的特征的预测效果往往不好。而VarianceThreshold会移除所有那些方差不满足一些阈值的特征。默认情况下，它将会移除所有的零方差特征，即那些在所有的样本上的取值均不变的特征...
数据挖掘-特征选择方法：方差过滤，相关性过滤
Sun123234的博客
02-02 2768
数据挖掘-特征选择方法：方差过滤，相关性过滤
sklearn中特征的方差过滤法：VarianceThreshold()简述
GuFeng1999的博客
09-12 7611
sklearn中特征的方差过滤法：VarianceThreshold()简述
机器学习特征筛选：方差选择法VarianceThreshold
data+scenario+science+insight
08-28 4288
机器学习特征筛选：方差选择法VarianceThreshold 方差是衡量一个变量的离散程度(即数据偏离平均值的程度大小）； 变量的方差越大，我们就可以认为它的离散程度越大，也就是意味着这个变量对模型的贡献和作用 会更明显，因此要保留方差较大的变量，反之，要剔除掉无意义的特征。 # 方差选择法； # 方差选择法 # 自己手写理论公式来实现功能 def VarianceThreshold(df, threshold=0.): dfc = df.iloc[:, :4].copy(..
使用方差阈值过滤（VarianceThreshold）进行特征选择、删除方差低于某一阈值的特征、详解及实战
data+scenario+science+insight
05-04 7555
使用方差阈值过滤（VarianceThreshold）进行特征选择、删除方差低于某一阈值的特征、详解及实战 方差阈值（VarianceThreshold）法是一种过滤特征选择法。 我们有一组数值特性，希望删除那些具有低方差的特征(因为、他们可能包含很少信息)。选择一个方差高于给定阈值的特征子集: 方差阈值是手动选择的，所以我们必须用自己的判断来选择一个好的阈值、如果没有太大的把握还是把阈值设置的小一点为妙。 不同数据尺度、或者单位的数据可能对应的方差尺度也不一样，在设置阈值的时候要慎重。 ..
特征选择之方差选择法VarianceThreshold
热门推荐
weixin_39938915的博客
10-13 2万+
VarianceThreshold #方差选择法 #使用方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征。使用feature_selection库的VarianceThreshold类来选择特征的代码如下： from sklearn.feature_selection import VarianceThreshold #方差选择法，返回值为特征选择后的数据 #参数thres...
VarianceThreshold
学习python
09-28 1万+
最近在数据的与处理中遇到了VarianceThreshold操作，这是sklearn.feature_selection，就是数据特征值选择，为什么会有这种操作呢，其实这是在进行数据分析之前的一种数据预处理作业，以为我们遇到的数据是复杂多变的，有可能会存在很多个特征值，但是并不是每一个特征值都能很好的体现区分度，那么这样的特征值就不存在分析的价值了。 假设某特征的特征值只有0和1，并且在所有输入...
Python特征选择--方差特征选择（Removing features with low variance）
wjhsg的专栏
07-13 1万+
最近你在看Python中机器学习之特征选择，为了避免遗忘，特记一波。Removing features with low variance，即低方差过滤特征选择。其原理也是比较简单，计算样本中每一个特征值所对应的方差，如果低于阈值，则进行过滤（剔除）。默认情况下，将会剔除所有零方差特征，方差为0表示样本的特征取值没发生变化。假设我们有一个特征是由0和1组成的数据集，利用Removing featu...
机器学习中的特征选择
rui307的专栏
04-25 2万+
首先声明，本人个人观点，仅供交流。 本人欠专业人士，并不了解显示实践中的特征工程。 特征选择是一个重要的数据预处理过程，获得数据之后要先进行特征选择然后再训练模型。主要作用：1、降维 2、去除不相关特征。 特征选择方法包含：子集搜索和子集评价两个问题。 子集搜索包含前向搜索、后向搜索、双向搜索等。 子集评价方法包含：信息增益，交叉熵，相关性，余弦相似度等评级准则。 两者结合起来就是特...
python数据获取及预处理_常见的数据预处理--python篇
最新发布
05-20
在进行数据分析和建模之前，数据预处理是必不可少的步骤。本文将介绍常见的数据预处理方法，以及如何用Python实现它们。 ## 缺失值处理 在实际数据中，经常会出现缺失值。这些缺失值可能是由于数据采集过程中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值