【机器学习】feature_importances_ 参数源码解析

最新推荐文章于 2024-07-15 15:30:12 发布
最新推荐文章于 2024-07-15 15:30:12 发布
阅读量9.5k 收藏 30
点赞数 6
分类专栏： 机器学习 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41856814/article/details/103377211
版权
本文深入解析了sklearn中feature_importances_属性的来源和计算逻辑，主要关注于决策树。通过源码分析，发现该属性基于每个决策树节点的不纯度（如基尼指数）和加权样本数。以具体实例验证，展示了如何计算特征的重要性，并得出特征对模型贡献的权重。
摘要由CSDN通过智能技术生成

在用sklearn的时候经常用到feature_importances_ 来做特征筛选，那这个属性到底是啥呢。

分析源码发现来源于每个base_estimator的决策树的
feature_importances_


 

由此发现计算逻辑来源于cython文件，这个文件可以在其github上查看源代码
在这里插入图片描述
而在DecisionTreeRegressor和DecisionTreeClassifier的对feature_importances_定义中


在这里插入图片描述

最低0.47元/天 解锁文章
网络毒刘
关注
专栏目录
树模型中的特征重要性(feature_importances_)
haoran_yang的博客
10-25 1万+
Decision Tree 该特征带来的标准(信息增益、基尼指数)减少的总和(需要经过标准化). 也被称为基尼重要性. sklearn官网说明原文如下： The importance of a feature is computed as the (normalized) total reduction of the criterion brought by that feature. It...
详解feature_importances_
weixin_43837522的博客
01-18 2801
基于模型的评估指标 1. feature_importances_的计算过程 2.feature_importances_的计算特性 2.1 feature_importances_的随机性 2.2 feature_importances_受建模过程影响 3 基于feature_importances_的特征筛选
随机森林模型Python代码——用随机森林模型实现机器学习
最新发布
qq_41698317的博客
07-15 2428
随机森林模型Python代码——用随机森林模型实现机器学习。随机森林模型是一种流行且功能强大的机器学习算法，用于分类和回归任务。它属于集成学习方法，主要通过构建多个决策树并综合它们的预测结果来工作。
Python每日一记42>>>机器学习中特征重要性feature_importances_
教练我想学编程
04-30 2万+
在进行机器学习算法中，我们常用的算法就像下面的代码形式类型 经历导入数据-预处理-建模-得分-预测 但是总觉得少了点什么，虽然我们建模的目的是进行预测，但是我们想要知道的另一个信息是变量的重要性，在线性模型中，我们有截距和斜率参数，但是其他机器学习算法，如决策树和随机森林，我们貌似没有这样的参数 值得庆幸的是我们有变量重要性指标feature_importances_，但是就目前而言，这个参数好...
量化特征贡献度函数:feature_importances_函数/LGBMClassifier/XGBClassifier
记录 IT 领域经验与见解的博客
05-18 4424
feature_importances_是scikit-learn机器学习库中许多模型对象的属性，在训练模型之后调用该属性可以输出各个特征在模型中的重要性。在上述代码中，我们训练了一个随机森林回归模型，并使用feature_importances_输出了各个特征的重要性。输出结果为：[0.08519548, 0.39799048, 0.40214713, 0.11466691]，即第2个特征和第3个特征在模型中较为重要，而第1个和第4个特征的重要性相对较低。
sklearn之feature_importance_参数的学习
weixin_63016274的博客
10-29 4732
sklearn之importance_features_参数的学习
【机器学习】feature_importances_使用方法并举例说明
2301_81133727的博客
06-14 447
它用于衡量每个特征对模型预测的重要性程度。通过查看特征重要性，我们可以了解哪些特征对模型的预测起着关键作用，这有助于特征选择、特征工程和模型解释。在这个示例中，我们使用RandomForestClassifier来训练一个随机森林分类器，并通过feature_importances_属性获取了各个特征的重要性。我们打印出了每个特征的重要性得分，这些分数表示了该特征对于模型的预测有多大影响。通过分析特征重要性，我们可以识别出对预测最具影响力的特征，有助于我们理解模型的预测过程并进行特征选择或优化模型性能。
sklearn源码解析：ensemble模型 零碎记录；如何看sklearn代码，以tree的feature_importance为例
热门推荐
mmc2015的专栏
07-12 2万+
最近看sklearn的源码比较多，好记性不如烂笔头啊，还是记一下吧。 整体： ）实现的代码非常好，模块化、多继承等写的很清楚。 ）predict功能通常在该模型的直接类中实现，fit通常在继承的类中实现，方便不同的子类共同引用。 随机森林 和 GBDT ）RandomForest的bootstrap是又放回的；GBDT则是无放回的。
sklearn之决策树参数详解
SKIp121whats112的博客
01-01 8368
这篇文章将会详细的介绍sklearn.tree的模型参数，属性，方法；保证全面并且正确。
机器学习流程
weixin_45303361的博客
08-10 1421
机器学习流程 获取数据 数据集分类 将本地数据导入 数据的基本处理 数据去重 缺失值处理 异常值处理 数据集分割 特征工程 特征提取 数据离散化 和 one-hot编码 文本特征提取 和 jieba分词 Tfidf 特征预处理 归一化 和 标准化 特征降维 特征选择 低方差特征过滤 主成分分析（PCA） 模型训练（算法） 模型评估 拟合和欠拟合(评估结果效果) 分类模型评估 准确率 精确率、召回率、F1-score AUC指标（ROC线下面积） 回归模型评估 平均绝对误 R2 模型的保存和加载
sklearn.ensemble之RandomForestClassifier源码解读（一）
赫夫曼树的博客
09-27 3276
class RandomForestClassifier(ForestClassifier) A random forest classifier. A random forest is a meta estimator that fits a number of decision tree classifiers on various sub-samples of...
可解释性机器学习_Feature Importance、Permutation Importance、SHAP
Dove_1234的博客
12-12 1354
可解释性机器学习_Feature Importance、Permutation Importance、SHAP
【机器学习】用特征量重要度(feature importance)解释模型靠谱么？怎么才能算出更靠谱的重要度？
weixin_47442572的博客
07-28 1万+
特征量重要度的计算一般取决于用什么算法，如果是以决定树为基础（tree-based）的集成算法，比如随机森林，lightGBM之类的，一般都是取impurity（gini）平均下降幅度最大的一些特征，python的Scikit-learn里面就有命令可以计算。也有可能是现有的特征量无法很好的预测结果，有更重要的特征量缺失了。泛化性不好，一般是模型过度学习了训练数据的一些噪音，把噪音当规律了，这时候一些本来无关紧要的噪音特征量也会登上重要度榜首，所以这时单纯相信特征量就很容易跑偏，错过重要的特征。...
xgboost的特征重要性feature_importance计算
jin_tmac's studio
05-13 4109
https://www.cnblogs.com/RainLa/p/11929515.html
sklearn的feature_importances_含义是什么？
weixin_37659245的博客
08-31 1万+
参考这篇回答： https://stackoverflow.com/questions/15810339/how-are-feature-importances-in-randomforestclassifier-determined/15821880#15821880 其中有Sk-learn作者的回复： There are indeed several ways to get feature “...
随机森林中feature_importances_的理解
qq_26449287的博客
07-26 2万+
https://blog.csdn.net/zjuPeco/article/details/77371645
AFML读书笔记--Feature Importance
weixin_41985789的博客
03-30 909
Advance Finance Machine Learning读书笔记 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。 因为年初疫情影响，书剩在别的地方无法出门取，所以断更了很久，现在持续更新中…… 之前有搜到大神weixin_38753422的AFML系列。写得很详细并且有代码和图片解释，链接在此 此系列从Part 1 Chapter ...
feature_importances_和feature_selection 的区别
03-29
feature_importances_和feature_selection都是用于特征选择的方法，但是它们有不同的应用场景和实现方式。 1. feature_importances_ feature_importances_是指在使用决策树等算法进行建模时，可以计算出每个特征的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

网络毒刘

授人玫瑰，手有余香。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值