机器学习如何计算特征的重要性_决策树如何计算特征重要性的？

最新推荐文章于 2023-08-28 22:10:21 发布
最新推荐文章于 2023-08-28 22:10:21 发布
阅读量1k 收藏 9
点赞数 3
文章标签： 机器学习如何计算特征的重要性

282d82a7bd3d9a3a7a9da19a342cf0fe.png

问题引入

笔者在所有的面试中都会被问答到项目中的具体特征的情况，包括特征是如何得到的，为啥这个特征有效，做了哪些特征筛选，特征重要性是如何看的，和线性回归、逻辑回归这种广义线性模型不一样，简单的决策树的特征重要性又没有类似线性回归的系数可以用来说明特征重要性，那么，树模型的特征重要性是怎么计算的呢？

问题解答

对于简单的的决策树，sklearn中是使用基尼指数来计算的，也就是基尼不纯度，决策树首先要构造好后才可以计算特征重要性，当然，我们在构建树的过程中已近计算好了特征重要性的一些值，如基尼指数，最后我们得到特征重要性的话，就直接将基尼指数做些操作就可以了。在sklearn中，feature_importances_应当就是这个Gini importance，也是就

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中，N是样本的总数，N_t是当前节点的样本数目，N_t_L是结点左孩子的样本数目，N_t_R是结点右孩子的样本数目。impurity直译为不纯度（基尼指数或信息熵

最低0.47元/天 解锁文章
weixin_39647412
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
如何衡量每个特征的重要度？
AlphaFinance
04-12 1311
特征重要度衡量不同特征对模型预测的影响，方法有Gini Importance、Permutation Importance、Shapley Values、Coefficients of Linear Models、Random Drop Importance等。强化学习中可用State visitation frequency、TD-error、Sensitivity analysis评价特征重要度。输入层特征重要度可用Deep Taylor Decomposition等。
树模型特征重要性评估方法
大锅八十小锅四十
05-07 1万+
前言 在特征的选择过程中，如果学习器（基学习器）是树模型的话，可以根据特征的重要性来筛选有效的特征。本文是对Random Forest、GBDT、XGBoost如何用在特征选择上做一个简单的介绍。 各种模型的特征重要性计算 Random Forests 袋外数据错误率评估 RF的数据是boostrap的有放回采样，形成了袋外数据。因此可以采用袋外数据（OOB）错误率进行特征重要...
scikit-learn决策树算法中特征重要性的计算
Fighting Hua
11-19 1644
sklearn.tree.DicisionTreeClassifier类中的feature_importances_属性返回的是特征的重要性，feature_importances_越高代表特征越重要，scikit-learn官方文档1中的解释如下： The importance of a feature is computed as the (normalized) total reduction of the c...
特征工程----特征的重要性分析
weixin_41910772的博客
10-27 1925
1. 问题来源 在很多生活工作中，我们都要接触很多的系统：包括输入、响应、输出，输入和输出是可以直观看到的，但响应有时是很难用数学表达的。如果已知一系列的输入和输出，输出出现问题时，怎么去分析哪一个输入出了问题呢？这时引入我们的话题-特征的重要性分析。 2. 算法 ...
决策树的特征重要性
wj1298250240的博客
01-03 8657
决策树的特征重要性 接上一篇 print("Feature importances:\n{}".format(tree.feature_importances_)) def plot_feature_importances_cancer(model): n_features = cancer.data.shape[1] plt.barh(range(n_features), model.fea...
利用随机森林评估特征重要性应用——以UCI葡萄酒为例
10-09
其中特征评估和变量筛选一直是故障诊断和状态评估领域的一个热门， 随机森林是以决策树为基学习器的集成学习算法，可作为特征变量筛选的重要方法之一，其优良的特性仍然能对故障诊断和状态评估领域的研究提供巨大的...
决策树机器学习算法分类和回归问题
04-22
决策树是一种常用的机器学习算法，用于解决分类和回归问题。它的可解释性和易于理解的特点使得决策树成为了智能决策的重要工具。本文将介绍决策树的原理、构建过程以及在实际应用中的优势和限制。 第一部分：决策树...
机器学习算法总结_决策树.doc
10-08
- **熵（Entropy）**：熵是衡量数据纯度或不确定性的指标，通常在决策树算法中用于评估特征的重要性。若数据集中所有样本都属于同一类别，熵为0，表示数据纯；反之，若类别分布均匀，熵最大。 - **信息增益...
机器学习算法总结_决策树.pdf
10-05
决策树是一种在机器学习中广泛使用的预测模型，它通过构建类似树状的结构来表示对象属性与对象值之间的关系。这个模型将数据集中的实例按照一系列的决策规则进行划分，最终形成一个能够对新实例进行预测的树。决策树...
机器学习-决策树（Decision Trees）
07-25
机器学习-决策树（Decision Trees） 决策树是机器学习中一种最为常见的算法。顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面对决策问题时一种很自然的处理机制。 基本原理 信息论是决策树生成算法的...
特征重要性判断（一）----决策树
xiekengli8279的博客
10-22 8748
一、决策树的基本框架 决策树是一类基本的机器学习算法。它是基于树状结构来进行决策，从上到下依次进行判断，最终得到模型的决策。 一般的，一棵决策树包含一个根节点、若干个内部节点和若干个叶子节点；叶子节点对应决策结果，其他每个节点则对应一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含样本全集。从根节点到每个叶子节点的路径对应了一个判断测试序列。 决策树的生成是一个递归过程。在决策树的算法中，如果出现下述三种情形之一，会终止继续划分，返回递归结果：1、当前节点包含的样本都是同一
决策树：从特征的重要程度说起
studyvcmfc的专栏
06-23 338
https://blog.csdn.net/on2way/article/details/85226024
如何用机器学习算法计算特征重要性
热门推荐
NeverGiveUp_GO的博客
06-25 1万+
1.决策树使用基尼系数（GI）和信息增益（IG）为决策树计算特征重要性。（1）信息增益（information gain）假定当前样本集合D中第k类样本所占我的比例为,则D的信息熵为                    （1）的值越小，则D的纯度越高。假定离散属性a有V个可能的取值，若使用a来对样本集D进行划分，则会产生V个分支节点，其中第v个分支节点包含了D中所有在属性a上取值为的样本，记为。...
决策树
math_computer的博客
10-15 176
参考：https://blog.csdn.net/mn_kw/article/details/79913786 https://blog.csdn.net/weixin_37051000/article/details/78587370 决策树给出的特征Gini重要性计算：https://blog.csdn.net/DKY10/article/details/84843864，https://...
机器学习之决策树(手推公式版)
夏小悠的博客
02-02 3029
本篇博文主要介绍了机器学习里面的决策树算法，并给出了相关的计算过程，最后使用主流的机器学习库sklearn来实现决策树。机器学习(手推公式版)系列持续更新中...
随机森林计算特征重要性推导
李坦(TJNU教育技术学)
02-17 4039
调用了Sklearn函数包中RandomForestRegressor.feature_importances_函数计算特征重要性。随机森林（RandomForest）是由一棵棵决策树（Decision Tree）组成，因此为了求得每个特征的重要性，首先需要知道每个特征在每一棵决策树上所做的贡献量，这种贡献量的计算方法是求解在该特征在某个节点上，分枝前后的基尼指数（Gini）差值，用同样的的方法求得其他特征的贡献值，最后将某个特征基尼指数变化值除以所有特征基尼指数变化值之，求得某个特征归一化后的贡献量，并根
机器学习~决策树
夫唯不争，故天下莫能与之争。
04-18 644
决策树是什么？ 决策树是一种常见的机器学习算法，它的思想十分朴素，类似于我们平时利用选择做决策的过程。类似流程图的结构，每个节点都可以进行判断，然后进入不同得决策子树中，直至到达叶子节点。 比如在相亲中，我们要判断是否要见对方，通常会根据几个衡量标准来做出决策，生成的决策树图如下所示： 通过上面例子，我们可以得出两个比较核心的问题： 1. 我们应该选择什么作为划分特征，即年龄、长相、收...
数据分析 | 特征重要性分析 | 树模型、SHAP值法
喜欢数学建模的大一小白
08-28 3796
本文基于集成学习的方法介绍另外两种可以分析特征重要性的方法：树模型、SHAP值法。
Python机器学习基础教程-第2章-监督学习之决策树
weixin_30888413的博客
06-14 693
前言 本系列教程基本就是摘抄《Python机器学习基础教程》中的例子内容。 为了便于跟踪和学习，本系列教程在Github上提供了jupyter notebook 版本： Github仓库：https://github.com/Holy-Shine/Introduciton-2-ML-with-Python-notebook 系列教程总目录 Python机器学习基础教程 引子 先导入必要的包 imp...
机器学习特征重要性评估
最新发布
06-15
机器学习中的特征重要性评估是衡量模型中每个特征对于预测结果贡献程度的过程。这有助于理解哪些特征对模型的性能影响最大，以及在优化模型时如何选择或调整这些特征。常见的特征重要性评估方法有： 1. **方差阈值（Variance Threshold）**：基于特征的方差来判断其对数据变化的敏感度，方差大的特征通常认为更重要。 2. **相关系数（Correlation Coefficient）**：计算特征与目标变量之间的线性相关性，高的正负相关性意味着特征可能有用。 3. **递归特征消除（Recursive Feature Elimination, RFE）**：通过反复训练模型并删除最不重要的特征，直到达到预定的复杂度或性能目标。 4. **随机森林（Random Forest）特征重要性**：随机森林提供了每个特征的重要性得分，基于每个特征被错误分类的次数。 5. **梯度提升树（GBM）特征重要性**：GBM模型的每个决策树都会贡献特征的重要性，这些加权平均就是最终的特征重要性。 6. **Lasso回归和Ridge回归的正则化系数**：正则化项可以提供特征选择的信息，系数接近于0的特征被认为是不重要的。 7. **Permutation Importance**：通过随机打乱特征值，观察模型性能的变化，打乱后的下降越大，特征越重要。 8. **SHAP 值（SHapley Additive exPlanations）**：这是一种基于游戏理论的方法，提供每个特征对预测值的精确贡献。 评估特征重要性的目的是为了提高模型的解释性和泛化能力，以及在特征工程阶段进行有效的资源分配。了解哪些特征最有价值可以帮助我们减少噪声、避免过拟合，并可能引导到更简洁、更高效的模型设计。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值