数据挖掘note3 决策树（gini,entropy）

最新推荐文章于 2024-09-14 09:04:29 发布
最新推荐文章于 2024-09-14 09:04:29 发布
阅读量4.9k 收藏 15
点赞数 4
文章标签： 决策树 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41901755/article/details/104738266
版权
本文介绍了决策树作为常见分类技术的一种，详细阐述了决策树的构建过程，包括节点不纯度的度量（如Gini指数和熵），并讨论了如何寻找最佳分割方法。此外，还探讨了决策树的优缺点，以及如何通过验证集和交叉验证来避免过拟合问题。
摘要由CSDN通过智能技术生成

常见的分类技术

基本分类器

  • decision tree
  • rule-based methods
  • nearest-neighbor
  • neural networks
  • deep learning
  • naive bayes and bayesian bilief networks
  • svm

决策树

1、根据训练数据集，画出决策树
在这里插入图片描述
2、将该树用于预测test data

  • 要注意的是，找出最优二分类决策树是个NP问题

决策树的推导

有很多种算法可以用：在这里插入图片描述

  • hunt‘s 算法
    1、如果Dt包含属于yt相同类别的记录，则t是标记为yt的叶子节点
    2、如果Dt包含属于多个类的记录，请使用属性测试将数据拆分为较小的子集。将过程递归地应用于每个子集。
    3、直到所有记录属于同一类或具有相同的属性值，停止拆分
    在这里插入图片描述
  • 遇到连续属性的时候，我们可以将其离散化以形成序数分类属性，
最低0.47元/天 解锁文章
比风酷
关注
信息熵（entropy)的理解
hahaxq的博客
03-31 4301
引言： 最近在看数据挖掘的内容，看视频的时候，里面的老师讲到了一些信息熵的东西，突然让我对于之前信息熵的迷惑瞬间消散。写这个的目的只是抛砖引玉，辅助看到信息熵的朋友加深一点点…点.理解，水平实在有限，尽量保证正确 首先这儿有个统计图表，如下： 从图中这三列，我们分别可以得到如下信息： 1.第一列：总人群中男女比例都是0.5 2.第二列：在不吸烟的人群中女的为0.8，男的为0.2 3.第三列：在吸...
数据挖掘总结之一——决策树（Jupyter lab）
Luciferwjd的博客
09-14 1633
决策树（Decision Tree） 决策树是一个预测模型，是一种非参数的监督学习方法，使用树状图来呈现它从数据特征和标签中总结出的规则。 类名 功能 tree.DecisionTreeClasifier 分类树 tree.DecisionTreeRegressor 回归树 tree.export_graphviz 画出生成的决策树 建模基本流程 实例化模型对象 划分训练集和测试集，训练模型 获取模型参数，调参 相关库 Python Scikit-learn Graphviz
gini函数和entropy 函数 数据分类效果对比
weixin_39938915的博客
10-20 4588
gini函数和entropy 函数 数据分类效果对比 from sklearn.datasets import load_iris from sklearn import tree import os import pydot print(os.getcwd()) #clf = tree.DecisionTreeClassifier(criterion = “entropy”) #entropy ...
python 实现entropy熵算法
最新发布
luthane的博客
09-14 853
Entropy（熵）算法并不是一个单一的、具体的算法，而是一个广泛的概念，用于描述系统无序程度或信息不确定性的量度。在计算机科学、信息论、热力学等多个领域中，熵都有重要的应用。在计算机科学中，特别是在信息论和机器学习中，熵通常用于评估信息的不确定性和冗余性，以及评估模型的复杂性和泛化能力。信息熵是度量信息不确定性的量。HX−∑x∈XPxlog⁡2PxHX−x∈X∑​Pxlog2​Px)]其中，(P(x)) 是随机变量X取值为x的概率。
基尼系数与熵
weixin_41609899的博客
01-18 4448
在分类问题中，假设有K个类，样本点属于第k类的概率是Pk，则概率分布的基尼系数定义为:基尼指数从公式看就是被分对的概率乘以被分错的概率，然后整个的和就是基尼系数。例如 一个随机事件X ，P(X=0) = 0.5 ,P(X=1)=0.5      那么基尼不纯度就为   P(X=0)*(1 - P(X=0)) +   P(X=1)*(1 - P(X=1))  = 0.5      一个随机事件Y ，
Decision Tree（决策树）-Entropy（熵）-Gini（基尼系数）
Linli522362242的专栏
06-13 4870
Classification: The purer the set, the smaller the degree of aliasing, the simpler the classification. Metrics that measure the degree of information mixture Entropy: Entropy is a quantitative ind...
Entropy,Gini,Error关系，信息熵，基尼系数
Jiashilin
09-29 910
数据挖掘十八般武艺（一）：决策树
guet+第4组+2021
01-01 941
决策树分类法，是一种简单但却广泛使用的分类技术。
Python数据挖掘——决策树
H2OSIR的博客
12-07 3293
sklearn中DecisionTree学习笔记参考博文：scikit-learn决策树算法类库使用小结sklearn中的决策树算法包含 DecissionTreeClassifier 和 DecissionTreeRegression ，二者的的用法基本相同。 不同的是： 回归决策树里面的Y值可以是浮点数；criterrion 参数值不同。sklearn.tree.DecisionTreeCla
CART决策树：Gini与Entropy混杂度比较及其应用
它在数据挖掘中扮演着关键角色，尤其是因为它是唯一被证明具有全局近似性质的决策树方法。全球近似意味着CART能够处理复杂的非线性关系，并在给定预测变量x1, x2, ..., xk与目标变量的情况下，发现两者之间的精确...
熵 互信息 Gini指数 和 不纯度
weixin_33897722的博客
06-27 1256
在学习决策树类的算法时，总是绕不开 信息熵、Gini指数和它们相关联的概念，概念不清楚，就很难理解决策树的构造过程，现在把这些概念捋一捋。 信息熵 信息熵，简称熵，用来衡量随机变量的不确定性大小，熵越大，说明随机变量的不确定性越大。计算公式如下： 考虑二元分布的情况，当取2为对数底时，可以得到如下的函数曲线。可以看到，当p=0.5时，不确定性最大，熵的值是1，也最大，当p=0或1时，没有...
机器学习模型2——决策树
littleyy666的博客
09-20 1048
机器学习模型2——决策树
机器学习｜决策树｜Gini指数和熵的区别｜简单示例
公众号：快乐变态屋 漂亮大男孩的罗德岛
04-23 2918
在决策树模型中，Gini指数和熵（Entropy）是用来计算节点纯度的两种方法。它们都是评估分裂点的好坏，以选择最佳的属性来分裂。
机器学习十大经典算法入门
热门推荐
qq_42379006的博客
06-20 9万+
一，SVM（Support Vector Machine）支持向量机 a. SVM算法是介于简单算法和神经网络之间的最好的算法。 b. 只通过几个支持向量就确定了超平面，说明它不在乎细枝末节，所以不容易过拟合，但不能确保一定不会过拟合。可以处理复杂的非线性问题。 c. 高斯核函数 d. 缺点：计算量大 二，决策树（有监督算法，概率算法） ...
RandomForest特征重要度问题
yaoyao_CJ的博客
08-26 4835
在构建随机森林的过程中，每一颗树所使用的数据不同，这使得每一颗树上的特征重要性表现的都不同。所以要评估每个特征在每棵树上的重要度来作为特征选择的依据。 随机森林衡量特征重要度的方法主要有两种，分别是Gini系数，和袋外误差率。
决策树
touchmybody的专栏
03-16 1340
决策树是一种简单的机器学习方法。决策树经过训练之后，看起来像是以树状形式排列的一系列if-then语句。一旦我们有了决策树，只要沿着树的路径一直向下，正确回答每一个问题，最终就会得到答案。沿着最终的叶节点向上回溯，就会得到一个有关最终分类结果的推理过程。 决策树： 1 2 3 4 5 6 7 class 
人工智能算法—决策树
腾讯soso团队博客
07-22 3万+
<br /> <br />    文/腾讯soso林世飞<br /> <br />    决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题<br />    这里 介绍其基本原理 和一个实验例子。<br />    先介绍2个算法：<br />    算法一：熵（
决策树中信息、熵、信息增益、基尼指数的概念及其python实现
mike_jun的博客
05-06 3万+
from：http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool and参考：周志华《机器学习》 决策树参考：https://blog.csdn.net/qq_40587575/article/details/80889223 关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要...
gini系数 决策树_机器学习——Decision Trees 决策树
weixin_39742392的博客
12-01 848
Decision Trees 决策树Created: Apr 14, 2020 5:28 PM什么是决策树？决策树以树的结构形式来构建分类或者回归模型。树的决策从根(开始)到叶节点。决策树易于过度拟合，可以使用剪枝来简化模型。假如我们要编写一个APP 推荐引擎，我们的任务是根据现有的数据，向人们推荐他们最有可能下载的APP，左边的表格是六个人的数据，性别、职业、和他们下载的APP。我们可以建立下图...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值