决策树学习笔记

最新推荐文章于 2024-04-01 21:06:03 发布
最新推荐文章于 2024-04-01 21:06:03 发布
阅读量391 收藏
点赞数
文章标签： 决策树 机器学习 剪枝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41055843/article/details/112647501
版权

根节点的选择

衡量标准-熵

熵是表示随机变量不确定性的度量，越小越好

    H(X)=-\sum_{i=0}^n p_i*log_2p_i，p_i为不同元素在集合中出现的频率

信息增益：表示特征X使得类Y的不确定性减少的程度。

    先计算y的熵值为原始熵值，再计算X_i中不同特征对应y的熵值，再频率乘以每个特征的熵值，求和后得到X_i的熵值。

增益=原始熵值-H(X_i)，最大值为根节点，依次类推。

决策树算法

ID3：信息增益（ID熵值小，增益大，但是对结果的影响基本没有）

C4.5：信息增益率（解决ID3，考虑自身熵）

CART：使用GINI系数来当做衡量标准

GINI系数：

最低0.47元/天 解锁文章
唯颜是爱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
3.1 机器学习 --- 决策树
woaixuexi6666的博客
11-07 1865
无
机器学习算法22 决策树到集成学习思想(06 决策树算法实列：决策树分类鸢尾花数据集，特征权重、决策树深度探索 )
weixin_41672684的博客
01-22 1508
1. 概述 结合sklearn官网 了解决策树的使用流程： 官网地址： 1.10. Decision Trees — scikit-learn 1.0.2 documentation 2.
机器学习基础简述（一）：决策树
link_the的博客
09-19 676
决策树 学习的时候手抄了很多大佬们的笔记，这是从手抄本上重新整理的，有空搜一搜把参考过的大佬们的链接贴上来。 1. 几种常见算法的简单对比 算法类别 算法特点 对比 损失函数 随机森林（RF） bagging方法，基于样本 对样本进行有放回采样，多次采样来训练不同树，最后投票得到结果 adaboost boosting方法，基于样本 提高被错分样本的权重，最后加权计分来得到结果，使用的决策树通常为单层决策树（一个决策点） 指数损失函数 梯度下降树(GBDT) boosting方法，
决策树 香农熵
skyonefly的博客
11-25 1111
熵（entropy）是表示随机变量不确定性的度量.所以熵越小越好 之所以Po出来是因为里面好多小函数自己找了好久 R语言用的人太少了 好痛苦#computing ShannonEnt CalShannonEnt<-function(dataSet){ #number of sample numEntries = nrow(dataSet) #labels you want to cla
决策树学习笔记.zip
最新发布
04-25
在机器学习中，决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。 决策树的应用场景非常广泛，包括但不限于以下几个方面： 金融风险评估：决策树可以用于预测客户借款违约概率，帮助银行更好地...
ch04 决策树_学习笔记1
08-03
为了防止过拟合，决策树学习通常会进行剪枝处理： 1. 预剪枝：在生成树的过程中，如果某个节点划分不能带来性能提升，就停止划分，转为叶节点。这减少了过拟合，但也可能导致欠拟合。 2. 后剪枝：先生成完整决策树，...
决策树_Decision_Tree学习笔记
02-24
本文档为李航老师的统计学习方法，决策树章节部分的阅读笔记
决策树学习文档
11-05
机器学习入门。决策树学习过程中遇到的问题，记录下来，可以说是学习笔记，希望能给大家带来帮助。由于手写难免会有一些错误察觉不到，广泛讨论，共同进步。
机器学习决策树
12-03
1. **ID3算法**：这是最早的决策树学习算法之一，基于信息熵和信息增益来选择最佳分割特征。信息熵衡量数据集的纯度，信息增益则是通过减少不确定性来度量特征的重要性。 2. **C4.5算法**：ID3的升级版，解决了ID3...
通俗易懂地搞懂决策树（Decision Tree）那些事儿
sanmi8276的博客
07-01 3518
一、决策树是什么？ “决策树是一颗好树，是一颗可以帮我们做决策的树。” 决策树的结构：树形结构，节点表示判断条件（分为根节点和中间节点），分支代表判断结果，叶子代表分类结果。 二、如何构造一棵决策树 当我们要构造一棵决策树的时候，大概首先想到的就是以下4个问题： 选哪个作为根节点？ 根节点选定后，怎么选中间节点？ 最后的叶节点又是怎样确认的？到什么程度呢？ 怎样把这个事弄的更细致，使其能够让计算机来实现？ 要解决上面的问题，先来看下构造决策树的流程 收集数据->准备数据->
决策树算法详解(3)
Cloud的博客
09-12 463
from sklearn.tree import DecisionTreeClassifier # 1.criterion gini or entropy# 2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）# 3.max_features None（所有），log2，sqrt，N 特征小于50的时候一般使用所
决策树的各类概述
glqzk7879的博客
12-18 667
LogisticRegression1.决策树的前世今生1.1 什么是决策树1.2 决策树的构建1.3 sklearn中使用决策树2. 决策树的特征选择2.1 信息论相关概念2.2 信息熵2.3 条件熵2.4 信息增益2.5 信息增益率2.5.1 信息增益率的意义2.6 基尼系数3. 决策树的算法3.1 ID3算法3.2 C4.5算法3.3 Cart分类回归树3.3.1 Cart分类树3.3.2 ...
使用增强回归树和随机森林模型进行溪流水质预测--文献阅读
Z_W_H_的博客
03-20 2098
流域特征和气候变量（例如地形、土壤、气候数据）也会影响河流水质。例如，陡坡可能会通过将污染物转移到溪流中来影响溪流水质，从而导致水质恶化。同样，土壤特性也会影响水质。例如，以母岩为主的流域显示出较低的溶解离子值；另一方面，软沉积岩显示出较高的溶解离子值。此外，在沉积物沉积量高的流域，河流中的磷含量很高。不同的流域特征可能会影响水质，因为它们会影响动员过程和指标向河流的传递 有两种常用的建模策略可用于预测未计量流域中的河流水质： (1) 基于物理的确定性模型（例如，分布式水文和水质模型） (2...
17- 梯度提升回归树GBRT (集成算法) (算法)
March_A的博客
02-14 3899
gradient Boosting DecisionTree 一一> GBDTBoosting :提升的，一点点靠近最优答案残差残差的意思就是：A的预测值 + A的残差 = A的实际值残差 = 实际值 - 预测值预测值 = 实际值 - 残差。
【MATLAB第102期】基于MATLAB的BRT增强回归树多输入单输出回归预测模型
随风飘摇的土木狗的博客
04-01 1341
BRT的工作原理基于提升（Boosting）策略，特别是AdaBoost（Adaptive Boosting）算法的变种。在每一轮迭代中，BRT都会执行以下步骤：初始化数据权重分布：开始时，每个训练样本都被赋予相等的权重。构建决策树：使用当前的数据权重分布来训练一个新的决策树。这个决策树通常是一个简单的、深度较浅的树，被称为弱学习器。计算预测误差：评估新训练的决策树在整个数据集上的预测误差。更新数据权重：根据预测误差，增加那些被错误分类的样本的权重，减少正确分类的样本的权重。
防止过拟合的办法以及能解决的原因
苏钟白的博客
07-12 1851
防止过拟合的办法
【R模型】R语言梯度提升回归树模型（基于gbm包的GBRT）
R酷的数据科学笔记
02-19 4513
R语言机器学习~GBRT模型
R语言笔记之树模型（回归树和决策树）
热门推荐
鲁鲁酱的博客
01-12 2万+
回归树过程：例：有10名学生，他们的身高分布如下： R1： 女生（7）：156，167，165，163，160，170，160 R2： 男生（3）：172，180，176 那么，落入R1的样本均值为163，落入R2的样本均值为176，那么对于新样本，如果是女生，树模型预测的身高是163，是男生，则为176. 那么如何划分出区域R1，R2(建造树模型）？ 需要使用自上到下的贪婪算法—–递
python决策树找坏
07-29
- *1* [python决策树 value_机器学习 | 算法笔记（四）- 决策树算法以及代码实现](https://blog.csdn.net/weixin_39914975/article/details/109884014)[target="_blank" data-report-click={"spm":"1018.2226.3001....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值