利用随机森林进行特征选择

最新推荐文章于 2024-03-22 15:20:41 发布
VIP文章 最新推荐文章于 2024-03-22 15:20:41 发布
阅读量1w 收藏 75
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习 特征选择 随机森林
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43084928/article/details/82716947
版权

例子是wine数据集： http://archive.ics.uci.edu/ml/machine-learning-databases/wine/
之所以可以利用随即森立来进行特征筛选是由于决策树的特性，因此我们可以利用所有决策树得到的平均不纯度（基尼系数）衰减来量化特征的重要性。根据重要性可以剔除相关度很低的特征，精简模型。
接下来直接进入代码：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
#载入数据，必要的时候可以查看下数据的情况
source_url = 'http://archive.ics.u
最低0.47元/天 解锁文章
Cvjark
关注
  • 2
    点赞
  • 踩
  • 75
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Python机器学习笔记——随机森林算法
weixin_30273931的博客
02-25 2082
随机森林算法的理论知识 　　随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，但是它在分类和回归上表现出非常惊人的性能，因此，随机森林被誉为“代表集成学习技术水平的方法”。 一，随机森林的随机性体现在哪几个方面？ 1，数据集的随机选取 　　从原始的数据集中采取有放回的抽样（bagging），构造子数据集，子数据集的数据量是和原始数...
使用随机森林进行特征选择
fatfairyyy的博客
08-31 2702
使用make_moons数据集构造一个有5棵树的随机森林模型，观察每棵树的决策边界。随机森林用到了ensemble集成的思想，即使用多棵决策树集成一个随机森林模型，并通过自助采样（从n_samples个数据点中有放回地重复随机抽取一个样本，并抽取n_samples次），并对每个结点使用的特征（单棵决策树使用特征进行决策：if/else）进行随机选择，保证随机森林中每一棵树都是随机的（两两不同），这样保证了每棵树都是随机的，优化了的缺点。...
随机森林-特征选择
Vulpes corsac
08-10 9801
随机森林是一种相当简单、容易理解的方法，他的基本原理就是，从原数据集中有放回的采样获得若干个子集，基于每个子集训练出不同的基分类器，再通过基分类器的投票获得最终的分类结果。另外，随机森林还有值得一提的是，随机森林不但对样本进行采样，也会对属性进行采样，即横竖采样，不过对属性的采样不再是自助采样法了，只是简单的按一定比例随机采样。将生成的多棵决策树组成随机森林。要进行特征选择，得现有一个对特征好坏的度量，我们先来看一下，随机森林是如何度量一个特征的好坏的，再来看它如何进行的特征选择。......
利用随机森林方法优选光谱特征预测土壤水分含量
02-03
为了更加精确地分析土壤光谱中不同水分吸收带内的光谱吸收特征参数在估测土壤水分含量(SMC)中的重要性，以新疆渭干河-库车河绿洲为研究区，采集38个土壤样本进行土壤光谱反射率及SMC的测定。利用去包络线消除法提取反射光谱水分吸收特征参数，包括最大吸收深度D、吸收谷右面积Ra、吸收谷左面积La、吸收谷总面积A、面积归一化最大吸收深度DA和对称度S, 将反射光谱水分吸收特征与SMC进行相关性分析，通过随机森林方法对光谱水分吸收特征参数进行分类，获取各参数对SMC的重要性。运用多元逐步回归模型建立SMC反演模型。结果表明：D、A与SMC的相关性最高，同时2200 nm及1400 nm波段范围内的光谱吸收特征参数与SMC的相关性优于1900 nm波段范围内的光谱吸收特征参数；对SMC影响较为重要的前5个参数分别为D2200、La2200、A2200、D1900和Ra2200；SMC的最佳预测模型是采用A2200、D2200建立的多元逐步回归模型，其建模集决定系数为0.88，建模集均方根误差为2.08，测试集决定系数为0.89，预测均方根误差为2.21，相对分析误差为2.80。随机森林分类能得到对
python随机森林特征重要性,python随机森林分类模型
最新发布
2301_81837718的博客
03-22 737
随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。随机森林的名称中有两个关键词，一个是“随机”，一个就是“森林”python编程代码复制。“森林”我们很好理解，一棵叫做树，那么成百上千棵就可以叫做森林了，这样的比喻还是很贴切的，其实这也是随机森林的主要思想–集成思想的体现。“随机”的含义我们会在下边部分讲到。
基于随机森林的特征提取方法
07-05
提出一种基于随机森林和转导推理的特征提取方法, 步骤如下: 1)利用带标签的训练样本建立随机森林模型; 2) 将无标签的测试数据导入随机森林模型中,生成全体数据(训练样本和测试数据)的相似性矩阵; 3)对该相似性矩阵进行 多维尺度变换得到全体数据的低维数据表示,即低维特征,使得原高维数据在低维空间中具有更好的可分性. UCI 数据 库的实验结果表明: 与主成分分析方法相比, 该方法将无标签测试集的数据分布信息转移到相似性矩阵中,更好地刻画 整个样本空间上的数据分布特性,从而提高分类器的性能,是一种行之有效的特征提取方法. 最后还讨论了特征提取维 数对模型准确率的影响,为实际应用提供参考.
MATLAB实现RF随机森林多特征分类预测（完整源码和数据）
10-17
MATLAB实现RF随机森林多特征分类预测（完整源码和数据） RF随机森林数据多特征分类数据，输入15个特征，分四类。 运行环境MATLAB2018b及以上。
利用随机森林评估特征重要性应用——以UCI葡萄酒为例
10-09
利用随机森林评估特征重要性应用——以UCI葡萄酒为例，可扩展到故障诊断和状态评估领域 # 利用随机森林评估特征的重要性 #筛选出重要性比较高的变量 其中特征评估和变量筛选一直是故障诊断和状态评估领域的一个热门， 随机森林是以决策树为基学习器的集成学习算法，可作为特征变量筛选的重要方法之一，其优良的特性仍然能对故障诊断和状态评估领域的研究提供巨大的帮助， 具有广阔的发展前景。
基于随机森林的特征选择算法 (2014年)
05-30
提出了一种基于随机森林的封装式特征选择算法RFFS，以随机森林算法为基本工具，以分类精度作为准则函数，采用序列后向选择和广义序列后向选择方法进行特征选择。在 UCI数据集上的对比实验结果表明，RFFS算法在分类性能和特征子集选择两方面具有较好的性能。
基于随机森林的特征选择-降维-回归预测——附代码
不定时分享电力优化、神经网络、数学建模等技术等
02-20 4909
可以看到，使用两个特征进行预测的准确度为85.2077，与使用所有特征进行预测的准确度相差不大，这表明随机森林特征选择方法有效的选择出了最重要的特征，实现了从大量特征到少数重要特征的特征降维筛选，极大的降低了特征的冗余性。当随机森林评价完成特征的重要性后，还需要对各个特征变量之间的相关性进行评估，以更加明显的看出何种特征最能影响预测结果，使用皮尔逊系数作为各个特征变量之间的相关性评价指标，从下图可以看出，越接近黄色表示相关性越强。确定要剔除的比例，依据特征重要性剔除相应比例的特征，得到一个新的特征集。
随机森林做特征重要性排序和特征选择
热门推荐
02-24 4万+
随机森林模型介绍： 随机森林模型不仅在预测问题上有着广泛的应用，在特征选择中也有常用。 随机森林是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，更令人惊奇的是它在分类和回归上表现出了十分惊人的性能。 随机森林模型在拟合数据后，会对数据属性列，有一个变量重要性的度量，在sklearn中即为随机森林模型的 feature_importances_ 参数，这个参数返回一个numpy数组对象，对应为随机森林模型认为训练特征的重要程度，float类型，和为1，特征重要性度数组中，数值越
基于随机森林实现特征选择降维及回归预测（Matlab代码实现）
weixin_46039719的博客
03-16 4895
可以看到，使用两个特征进行预测的准确度为85.2077，与使用所有特征进行预测的准确度相差不大，这表明随机森林特征选择方法有效的选择出了最重要的特征，实现了从大量特征到少数重要特征的特征降维筛选，极大的降低了特征的冗余性。当随机森林评价完成特征的重要性后，还需要对各个特征变量之间的相关性进行评估，以更加明显的看出何种特征最能影响预测结果，使用皮尔逊系数作为各个特征变量之间的相关性评价指标，从下图可以看出，越接近黄色表示相关性越强。2.确定要剔除的比例，依据特征重要性剔除相应比例的特征，得到一个新的特征集。
如何用envi随机森林做特征优选
weixin_42607969的博客
02-12 1028
随机森林是一种常用的机器学习方法，可以用于特征选择。 在 ENVI 软件中，您可以使用随机森林算法来实现特征选择，具体步骤如下： 导入您的数据：您需要选择一个数据集，并将其导入 ENVI。 准备数据：您可以使用 ENVI 的预处理功能对数据进行标准化，归一化等操作。 选择随机森林算法：您可以在 ENVI 的机器学习模块中选择随机森林算法。 训练模型：您可以在 ENVI 中训练随机森林模型，...
利用随机森林-光学图像分割
04-10
# 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(data, labels, test_size=0.3, random_state=42) # 创建随机森林分类器 clf = RandomForestClassifier(n_estimators=100, random_state=42) # 训练模型 clf.fit(X_train, y_train) # 预测 y_pred = clf.predict(X_test) # 计算准确度
随机森林算法介绍及多分类预测的R实现
Christina
07-03 1万+
随机森林（Random Forest）是一种经典的机器学习算法，是数据科学家中最受欢迎和常用的算法之一，最早由Leo Breiman和Adele Cutler于2001年提出。它是基于集成学习（Ensemble Learning）的一种方法，通过组合多个决策树来进行预测和分类，在回归问题中则取平均值。其最重要的特点之一是能够处理包含连续变量和分类变量的数据集。在本文中，我们将详细了解随机森林的工作原理，介绍其在R中的实现及其优缺点。
机器学习中关于随机森林和XGBoost算法的特征选择 （一）
weixin_54729407的博客
01-20 2795
近年来机器学习在数学建模竞赛和大数据竞赛中的应用越来越广泛，本文是基于2023年mothor cup 大数据竞赛B题第一问中特征选择，参考历年优秀论文和数学建模清风老师的内容，结合自己的实际想法而作。希望以上内容能对涉及有关内容的友友们有所帮助，同时也希望基础不太好或者初学者更多地接触Python，当然也推荐购买数学建模清风老师的课程，涉及到SPSS、STATA、MATLAB、EXCEL、画图软件等等。
【Machine Learning】使用随机森林进行特征选择
Lawe的博客
06-19 2万+
一、特征选择         在我们做特征工程时，当我们提取完特征后，可能存在并不是所有的特征都能分类起到作用的问题，这个时候就需要使用特征选择的方法选出相对重要的特征用于构建分类器。此外，使用特征选择这一步骤也大大减少了训练的时间，而且模型的拟合能力也不会出现很大的降低问题。         在特征选择的许多方法中，我们可以使用随机森林模型中的特征重要属性来筛选特征，并得到其与分类的相关性。
利用随机森林做特征选择
bbbeoy的专栏
06-21 9522
https://hal.archives-ouvertes.fr/file/index/docid/755489/filename/PRLv4.pdf 摘要：在随机森林介绍中提到了随机森林一个重要特征：能够计算单个特征变量的重要性。并且这一特征在很多方面能够得到应用,例如在银行贷款业务中能否正确的评估一个企业的信用度,关系到是否能够有效地回收贷款。但是信用评估模型的数据特征有很多,其中不乏有很多
机器学习——随机森林特征选择及周期性分析
杨老师的小跟班(*∩_∩*)
10-09 3508
随机森林——特征选择（降维） 前面的文章有写过PCA降维，虽然随机森林和它都是横向的降维，但是呢PCA降维之后是生成了新的特征（新的特征是原来特征的线性组合，但是呢这个新的特征没有赋给现实的含义）；而随机森林是从中挑选出更有价值的特征。
matlab随机森林特征选择
07-04
### 回答1： 随机森林是一种常用的机器学习算法，能够在特征选择中发挥重要作用。在 Matlab 中，可以使用 Random Forest Toolbox 来进行随机森林特征选择。 具体步骤如下： 1. 准备数据集：将数据集分为特征和标签两部分，特征是用于预测的属性，而标签是我们希望预测的结果。 2. 导入 Random Forest Toolbox：在 Matlab 中，可以使用命令 `addpath('随机森林工具箱路径')` 来导入 Random Forest Toolbox。 3. 构建随机森林模型：使用 `TreeBagger` 命令可以创建一个随机森林模型。可以指定随机森林的树的个数等参数。 4. 进行特征选择：使用 `oobPermutedPredictorImportance` 命令可以计算每个特征的重要性得分。 5. 输出特征重要性得分：根据特征重要性得分，可以按照重要性降序排列特征，并输出结果。 总之，通过使用 Matlab 中的 Random Forest Toolbox，可以很方便地进行随机森林特征选择。这样可以帮助我们识别出对于预测结果最重要的特征，提高机器学习模型的效果。 ### 回答2： 在MATLAB中，可以使用随机森林算法进行特征选择。随机森林是一种集成学习方法，可以用于回归和分类问题。特征选择是指从原始特征集中选择最重要的特征子集，以提高模型的预测性能和解释能力。 MATLAB中的随机森林特征选择可以通过以下步骤实现： 1. 准备数据集：将数据集准备好，并将特征和标签分开。确保数据集中的特征矩阵是数值类型，标签是分类或回归类型。 2. 创建随机森林模型：使用fitensemble函数创建随机森林模型。可以选择的模型类型包括分类树、回归树和混合模型。可以调整模型的参数，如树的数量、元学习器的类型等。 3. 进行特征选择：利用featureimportance函数计算每个特征的重要性。该函数会基于随机森林模型的性能指标（如错误率、均方误差等）和特征在模型中的使用频率来评估特征的重要性。 4. 选择重要特征：根据计算得到的特征重要性排序，选择重要性较高的特征。可以使用plot函数来可视化特征重要性排序结果。 通过上述步骤，我们可以使用MATLAB中的随机森林算法进行特征选择。这有助于减少特征空间的维度，提高模型的训练速度和预测精度。在进行特征选择时，需要注意过度拟合和噪音特征的问题，同时也需要考虑特征之间的相关性，以避免重要特征的遗漏。 ### 回答3： 随机森林是一种常用的机器学习算法，它通过构建多个决策树并进行投票来进行预测。在matlab中，我们可以使用Random Forest算法进行特征选择。 首先，我们需要导入matlab的Statistics and Machine Learning Toolbox。然后，我们可以使用TreeBagger函数来构建随机森林模型。TreeBagger函数需要指定输入特征矩阵和对应的目标变量。我们还可以指定决策树的数量、特征选择方法和其他参数。 构建完成后，我们可以使用predict方法来预测新的输入样本。然而，在预测前，我们可以使用oobPermutedPredictorImportance方法来计算每个特征的重要性指标。该方法使用袋外样本来评估模型对于特征的重要性。 oobPermutedPredictorImportance方法返回一个向量，其中每个元素表示对应特征的重要性指标。可以根据这些指标来选择最重要的特征。根据经验，一般选择重要性指标在前20%的特征作为最佳特征子集。 使用随机森林进行特征选择的好处是，它可以考虑多个特征之间的相互作用，并且不容易受到噪声的干扰。另外，由于袋外样本的使用，可以避免对训练数据的过拟合问题。 总结来说，matlab中的随机森林特征选择方法通过构建多个决策树并计算特征重要性指标来进行特征选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值