Level3 — PART 4 机器学习算法 — 决策树

已于 2024-08-27 16:24:49 修改
阅读量27 收藏
点赞数
分类专栏： CDA Level 2 & Level 3备考好帮手 文章标签： 决策树 ID3 C4.5 CART 信息熵 基尼系数 剪枝
于 2024-08-27 16:22:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_15156024189/article/details/141528116
版权

目录

引言

信息量

信息熵

案例

ID3

属性选择—信息增益

决策树生成

Python实现ID3 

C4.5

属性选择—信息增益率

连续型属性

缺失值

剪枝

CART

分类树属性选择—基尼系数

回归树属性选择—方差

剪枝 

Python实现CART

 CHAID

GBRT

决策树对比 

模拟题

CDA LEVEL III 模拟题（一）

CDA LEVEL III 模拟题（二） 

CDA LEVELⅢ 模拟题（2023新大纲）

        决策树主要由节点（Node）和有向边（Directed Edge）构成，节点主要分为根节点、内部节点和叶节点： 

（1）根结点（root node）：没有入边，但有零条或多条出边；
（2）内部结点（internal node）：恰有一条入边和两条或多条出边；
（3）叶结点（leaf node）：恰有一条入边，无出边。

如图：

        虽然在一些资料中提到外部节点，但在决策树的基本构成中，外部节点并不是一个独立的节点类型。通常，叶节点已经涵盖了外部节点的概念，即它们是决策树的最终输出点。

        决策树既可以用来解决分

了解本专栏 订阅专栏 解锁全文
L（刘二宝）
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
机器学习算法 —— XGBoost
ZShiJ的博客
07-09 237
首先需要导入一些基础的函数库包括：numpy （Python进行科学计算的基础软件包），pandas（pandas是一种快速，强大，灵活且易于使用的开源数据分析和处理工具），matplotlib和seaborn绘图。一种最简单的方法是把所有的相同类别的特征编码成同一个值，例如女=0，男=1，狗狗=2，所以最后编码的特征值是在[0,特征数量-1]这里我们采用网格调参，它的基本思想是穷举搜索：在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终的结果。这个值也是用来避免过拟合的。
【Python】实战！基于Kaggle数据集的机器学习决策树模型实现心脏病预测（全英版）
Yqalu的博客
04-24 3229
基于Kaggle心脏病数据集，通过Python机器学习库决策树模型等，实现心脏病预测。
决策树算法原理_决策树算法
weixin_26704853的博客
09-20 559
决策树算法原理 决策树 (Decision Trees) Decision Tree is a tree shaped algorithm used to determine a course of action. Each branch of the tree represents a possible decision, occurrence or reaction. 决策树是用于确定操作过程...
机器学习中常见的最优化算法_最常见的机器学习算法
culing2941的博客
09-15 850
Here you will learn about list of machine learning algorithms for beginners. 在这里，您将了解初学者的机器学习算法列表。 Hello there everyone! Hope you all are doing well. Today we are among you once again with another a...
【详解】机器学习算法详解
LeeZhao的博客
05-19 3663
1 机器学习算法原理介绍 判别模型(discriminative model) 已知输入变量x，通过求解条件概率分布P(y|x)或者直接计算y的值来预测y。 例如： 线性回归（Linear Regression） 逻辑回归（Logistic Regression） 支持向量机（SVM） 传统神经网络（Traditional Neural Networks） 线性判别分析（Linear Discriminative Analysis） 条件随机场（Conditional Random Field）
02_机器学习算法_基于XGBoost的分类预测
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
05-01 1307
XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型，并对模型中的算法进行了诸多优化，在取得高精度的同时又保持了极快的速度，在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。更重要的是，XGBoost在系统优化和机器学习原理方面都进行了深入的考虑。
机器学习算法 —— LightGBM
ZShiJ的博客
07-09 337
本次我们选择英雄联盟数据集进行LightGBM的场景体验。英雄联盟是2009年美国拳头游戏开发的MOBA竞技网游，在每局比赛中蓝队与红队在同一个地图进行作战，游戏的目标是破坏敌方队伍的防御塔，进而摧毁敌方的水晶枢纽，拿下比赛的胜利。现在共有9881场英雄联盟韩服钻石段位以上的排位比赛数据，数据提供了在十分钟时的游戏状态，包括击杀数、死亡数、金币数量、经验值、等级……参考项目：机器学习系列入门系列[七]：基于英雄联盟数据集的LightGBM的分类预测。
机器学习与人脸识别3：人脸检测算法综述
cyf15238622067的博客
01-18 4378
以下内容转自网络，主要介绍人脸算法的历史： 导言 人脸检测是目前所有目标检测子方向中被研究的最充分的问题之一，它在安防监控，人证比对，人机交互，社交和娱乐等方面有很强的应用价值，也是整个人脸识别算法的第一步。在本文中，将回顾人脸检测算法的整个发展历史。 ...
03_机器学习算法_基于LightGBM的分类预测
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
05-02 802
LightGBM是2017年由微软推出的可扩展机器学习系统，是微软旗下DMKT的一个开源项目，由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖老师带领开发。它是一款基于GBDT（梯度提升决策树）算法的分布式梯度提升框架，为了满足缩短模型计算时间的需求，LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用，以及减少多机器并行计算时的通讯代价。LightGBM可以看作是XGBoost的升级豪华版，在获得与XGBoost近似精度的同时，又提供了更快的训练速度与更少的内存消耗。
基于决策树的多分类_R中基于决策树的糖尿病分类—一个零博客
weixin_26752765的博客
09-06 2675
基于决策树的多分类Article Outline 文章大纲 What is a decision tree? 什么是决策树？ Why use them? 为什么要使用它们？ Data Background 资料背景 Descriptive Statistics 描述性统计 Decision Tree Training and Evaluation 决策树培训和评估 Decision Tree P...
【人工智能 | 机器学习 | 理论篇】决策树（decision tree）
qq_49150070的博客
08-27 388
决策树
神经网络模型剪枝快速指南
新缸中之脑
08-26 840
模型剪枝（Model Pruning）是指从深度学习神经网络模型中删除不重要的参数，以减小模型大小并实现更高效的模型推理。通常，只剪枝参数的权重，而不影响偏差。偏差的剪枝往往有更明显的缺点。非结构化剪枝期间权重如何归零的可视化由于这些参数被删除，可能会导致模型推理性能下降，因此应谨慎执行。在后续章节中，我们将探讨剪枝的类型以及剪枝策略，然后再讨论适合你特定用例的最佳剪枝策略。
“人力资源+大数据+薪酬报告+涨薪调薪”
08-27
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
java-ssm+jsp雁门关风景区宣传网站实现源码
08-27
java-ssm+jsp雁门关风景区宣传网站 项目关键技术 开发工具：IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7+ 后端技术：ssm 前端技术：jsp 关键技术：jsp、spring、ssm、MYSQL、MAVEN 数据库工具：Navicat、SQLyog
springboot584科研管理系统_2byeq--.zip
08-27
随着计算机技术发展，计算机系统的应用已延伸到社会的各个领域，大量基于网络的广泛应用给生活带来了十分的便利。所以把科研管理与现在网络相结合，利用计算机搭建科研管理系统，实现科研的信息化。则对于进一步提高科研管理发展，丰富科研管理经验能起到不少的促进作用。 系统阐述的是使用科研管理系统，对于Java、B/S结构、MySql进行了较为深入的学习与应用。主要针对系统的设计，描述，实现和分析与测试方面来表明开发的过程。开发中使用了springboot框架和MySql数据库技术搭建系统的整体架构。利用这些技术结合实际需求开发了具有个人中心、用户管理、科研队伍管理、队伍信息管理、加入队伍管理、队伍申请管理、科研成果管理、项目成果申报管理、公告信息管理、资源文件管理、信息交流、系统管理等功能的系统，最后对系统进行相应的测试，测试系统有无存在问题以及测试用户权限来优化系统，最后系统达到预期目标。
基于微信小程序便捷饭店点餐小程序的设计与实现.docx
08-27
基于微信小程序便捷饭店点餐小程序的设计与实现.docx
基于ZigBee的无线控制系统软硬件设计.docx
最新发布
08-27
基于ZigBee的无线控制系统软硬件设计.docx
C#开发web网页管理系统（asp.net）-毕业生论文答辩系统及数据库表的sql文件
08-27
系统需求：本系统分为学生及老师两个入口，学生进入后可进行论文题目选题，老师可以实现题目的发布及维护，并可查看学生的选题情况，同时可以对学生进行维护，并能够给出学生的论文成绩，最终可按不同的分数段统计学生人数（60以下，60-70，70-80，80-90，90以上）注意每学生仅能选一题，每题仅能有一个来选。 逻辑模型—— 学生信息表（学号, 密码, 姓名, 性别, 学院, 专业班级, 联系电话） 主码：学号 教师信息表（工号, 密码, 姓名, 性别, 学院, 职称） 主码：工号 课题信息表（课题号, 课题名, 课题要求, 指导老师工号, 发布时间） 主码：课题号 选题表（学号, 课题号, 选题时间, 是否通过, 指导老师工号） 主码：学号 外码：课题号，指导老师工号 成绩表（学号, 课题号, 答辩时间, 成绩, 指导老师工号） 主码：学号 外码：课题号，指导老师工号 使用本系统，需要部署本地的odbc接口程序，详见本篇——https://blog.csdn.net/liKeQing1027520/article/details/138703774 更多相关查看我的【数据库】专栏
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L（刘二宝）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值