gini impurity的相关内容

最新推荐文章于 2022-12-10 23:00:00 发布
最新推荐文章于 2022-12-10 23:00:00 发布
阅读量180 收藏
点赞数
文章标签： 机器学习 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42867453/article/details/112981506
版权
基尼不纯度（Gini Impurity）和熵是衡量数据分类质量的重要指标。基尼不纯度从0到0.5变化，数值越大表示分类越不纯；熵的最大值为1，表示最大的不确定性。两者都用于决策树等算法中，基尼不纯度计算更简单。例如，当数据分布不均时，基尼不纯度先增后减。理解这些概念有助于优化数据分类和模型性能。
摘要由CSDN通过智能技术生成

  • gini impurity
    基尼杂质
    公式：
    G ( y ) = 1 − ∑ 1 ≤ i ≤ n ( p ( i ) ) 2 G(y) =1-\sum_{\mathclap{1\le i\le n}} \def \foo {(p_{(i)})^2} \foo G(y)=1−1≤i≤n​∑​(p(i)​)2
    n : 分为几类class
    p(i) ：第 i 类占样本总数的比例

    gini impurity会随data的分布不均先增后减

    例如：有两类数据A、B，数据总数14
    A:0 B:14 G = 0
    A:1 B:13 G = 0.1328
    A:7 B:7 G = 0.5
    A:14 B:0 G= 0

    熵与基尼杂质的区别：
    熵的最大值 1
    基尼杂质的最大值 0.5
    基尼杂质在计算上易于计算
    两者都能用于判断数据分类的好坏 数值越大分类越差

nueroamazing
关注
Gini Impurity（基尼不纯度）
05-15 150
基尼不纯度：衡量集合的无序程度，有放回抽样两次，两次样本标签不同的概率。
sklearn中的分类型决策树与泰坦尼克号实例
yt2826996的博客
12-20 238
sklearn与决策树
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
hftytf的博客
01-30 582
机器学习基础（五十）—— Gini Impurity（基尼不纯度）与香浓熵（Shannon Entropy））
机器学习笔记：特征处理——相关性分析GINI impurity
laowuzhuanyong的博客
05-27 870
做相关性分析的方法有很多，这里分享几个相关性分析。 1、GINI系数 公式：（网上贴的） G=i=1∑C​p(i)∗[1−p(i)] 什么是基尼系数呢，其实就是P(Y|X)的一种变形，用人话就是说，利用多个标签，是否能区分模型，也就是相关度。 引入示例加深理解 X Y 有钱 老板 有钱 傻逼 没钱 老板 没钱 傻逼 没钱 傻逼 如果他有钱的情况下，他是老板的概率为0.5， 他没钱的情况下，他是老板的概率为0.33（三分之一） 所以他的GINI系数为
基尼不纯度简介 - Gini Impurity
studyvcmfc的专栏
06-21 456
https://www.cnblogs.com/jointech/p/12970187.html
[翻译转载] 基尼杂质(Gini Impurity)的简单介绍
zhang994125301的博客
04-19 3018
Gini Impurity——基尼杂质是什么，怎样应用于决策树Decision Tree 决策树Gini Impurity 基尼杂质/基尼不纯度/基尼系数例1: 整个数据范例公式化例2 完美划分方案例3 不完美划分方案选择最佳划分方案总结 本文翻译自Victor Zhou @victorczhou 的A Simple Explanation of Gini Impurity Decision T...
集体编程智慧（决策树）-Gini Impurity 公式推导
duanluyun的博客
08-25 734
集体编程智慧（决策树）-Gini Impurity 公式推导
基于gini系数的决策树代码
weixin_42720875的博客
08-13 1956
import gini import tree import operator from math import pow def cal_gini_index(data): total_sample=len(data) if total_sample==0: return 0 label_counts=label_unique_cnt(d...
数据挖掘note3 决策树（gini,entropy）
qq_41901755的博客
03-08 4976
常见的分类技术 基本分类器 decision tree rule-based methods nearest-neighbor neural networks deep learning naive bayes and bayesian bilief networks svm 决策树 1、根据训练数据集，画出决策树 2、将该树用于预测test data 要注意的是，找出最优二分类决策树是个...
基尼系数（Gini Impurity）的理解和计算
热门推荐
weixin_41855010的博客
11-29 5万+
一、基尼指数的概念 基尼指数（Gini不纯度）表示在样本集合中一个随机选中的样本被分错的概率。 注意：Gini指数越小表示集合中被选中的样本被参错的概率越小，也就是说集合的纯度越高，反之，集合越不纯。当集合中所有样本为一个类时，基尼指数为0. 二、基尼系数的计算公式 基尼指数的计算公式为： 三、计算示例 我们分别来计算一下决策树中各个节点基尼系数： 以下excel表格记录了Gini系数的计算过程。 我们可以看到，GoodBloodCircle的基尼系数是最小的，也就是最不容易犯错误，因此我们应该把这个
【Latex】latex中长公式换行，行内公式换行
时光、疏离了记忆づ童话的博客
03-01 3万+
比较简单的情况：方程组 \begin{equation} \begin{aligned} or \begin{array}{1} &\alpha ^v = \chi ^v \phi _v \\(换行符)，&对齐符，放到自己想对齐的地方（但是在array环境下不能用） &\alpha ^m = \chi ^c \phi _m \\ &\chi ^v = - \left( {\tau /3} \right)\left\langle {u \cdot \nabla
决策树
leidashuaige的专栏
09-05 181
视频连接 https://www.youtube.com/watch?v=7VeUPuFGJHk 树的基本结构 问一个问题，然后根据回答来判断结果 树的完整结构 描述 顶层浅蓝色为root node 蓝色为internal node 绿色为 leaf node 注意点 root node的问题很重要 问题可以被重复 结果可能被重复 如何构造一个树 选择根节点 使用每一个feature对...
最全LaTeX 数学公式、字母符号、上下标、列表矩阵、公式注释、分数二进制数、分割字符、逻辑集合论、否定符号等
qq_40985985的博客
12-10 1万+
最全LaTeX 数学公式、字母符号、上下标、列表矩阵、公式注释、分数二进制数、分割字符、逻辑集合论、否定符号等
决策树基尼不纯净度（gini impurity）学习
MiaLove
06-10 2402
在学习《hands on maching learning with sklearn&tensorflow》中，第六章提高基尼不纯净度（gini impurity）和信息熵。 gini impurity： Gi=1−∑k=1nppi,k2G_i=1-\sum_{k=1}^{n}p_{p_i,k}^2Gi​=1−k=1∑n​ppi​,k2​ 转载博客： https://tech.youzan...
CSDN 编写数学公式参考文档
在到处之间找我
09-26 1021
CSDN markdown编辑器默认使用的是 katex 来完成数学公式的解析。其帮助文档可以参考https://katex.org/docs/supported.html，下面是对我常用的一些数学公式的总结： 文章目录角标和上标分数和二项式不等号希腊字母逻辑符号 角标和上标 分数和二项式 不等号 希腊字母 逻辑符号 感觉这个离散数学用的应该比较多 ...
因子分解模型——SVD、SVD++、timeSVD++
weixin_43631296的博客
01-11 4525
用隐语义模型来进行协同过滤的目标是揭示隐藏的特征。这些隐藏的特征能够解释观测到的评分，该模型的一些实例包括pLSA模型、神经网络模型、隐式Dirichlet分配模型，以及由用户-物品评分矩阵的因子分解推导出的模型（也叫做基于SVD的模型）。
Random Forest
赵大宝的博客
05-31 1129
随机森林：集成(ensemble)多棵决策树，以bagging的方式训练，来得到一个更加精确和稳定的预测。 随机森林与决策树的不同： 随机森林是以决策树为基学习器构建的，是多棵不同决策树的bagging组合。 决策树从特征集合中选择一个最优特征（最大信息增益ID3、最大信息增益比C4.5、最小Gini指数）进行分支；而随机森林在随机选取的特征子集里面选择最优特征进行分支。 随机森林的生成过...
DecisionTreeClassifier如何输出根节点的gini系数
最新发布
06-08
你可以使用DecisionTreeClassifier中的属性feature_importances_来输出根节点的gini系数。首先，你需要使用fit()方法来训练决策树模型。然后，使用tree_属性来访问决策树的根节点，利用criterion属性来指定使用gini系数计算不纯度，最后，使用impurity属性来获取根节点的gini系数。 以下是一个示例代码： ``` from sklearn.datasets import load_iris from sklearn.tree import DecisionTreeClassifier # 加载数据集 iris = load_iris() X = iris.data y = iris.target # 训练决策树模型 clf = DecisionTreeClassifier(random_state=0) clf.fit(X, y) # 输出根节点的gini系数 root_node = clf.tree_ gini = root_node.impurity print("根节点的gini系数为：", gini) ``` 请注意，这个方法只能在决策树中使用gini系数作为不纯度度量时才能使用。如果使用的是其他不纯度度量，如信息增益，需要相应地修改代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值