西瓜书第四章决策树

最新推荐文章于 2024-10-03 09:02:12 发布
最新推荐文章于 2024-10-03 09:02:12 发布
阅读量48 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62819442/article/details/132484052
版权

//现在决策树的应用，主流是放在集成学习里面，多棵决策树构成森林模型

1.基本流程

顾名思义，决策树是基于树结构来进行决策的.决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的"分而治之" (divide-and-conquer) 策略image​

 

2.划分选择

决策树学习的关键是如何选择最优划分属性一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的"纯度" (purity) 越来越高. （就是卡的准呗！！！）

信息熵

自信息

​image

随机变量X的每个取值x都有一个p(x)

 

"信息熵" (information entropy) 是度量样本集合纯度最常用的一种指标.是子信息的期望。

​image​

​image​​

 

ID3决策树

C4.5决策树

CART决策树

匿名momo
关注
西瓜书 第4章 决策树
deamon20的博客
12-10 368
C4.5决策树改善了信息增益准则对可能取值数目较多的属性有所偏好，但是增益率对可能取值数目较少的属性有所偏好。决策树主要用于集成学习，森林那种。第二步筛选出类别较多的属性。
吃瓜Task3 西瓜书第四章 决策树
qq_36630208的博客
11-25 404
西瓜书第四章决策树简单阅读笔记
西瓜书 第4章决策树 4.1-4.2
qq_45903351的博客
05-27 240
决策树 概念 分类树为例 逻辑： 从根节点出发，对样例的每一个属性进行判断，根据判断结果，将样例分配到其子节点中，此时，每个节点又对应着该属性的一个取值，如此递归的对样例进行判断和分配，直至将样例分配到叶子结点中，其基本流程遵循简单且直观的分而治之的策略。 算法模型： 算法原理： 构造根节点，将所有训练数据集都放到根节点，选择一个最优特征，将训练数据集分割成子集，使得训练集在当前按条件下有最好的分类。如果这些子集已经可能很好的分类，那么构建叶节点，如果还不能很好的分类，继续对其分割，构造相应的结点，如此递
机器学习 西瓜书 第四章决策树 读书笔记
猾枭的博客
10-20 240
西瓜书 决策树
西瓜书--第四章决策树
weixin_40911578的博客
05-26 1022
一、算法原理 决策树(Decision Tree)是一种有监督学习，它能够从一系列有特征和标签的数据中总结出决策(基于分类或回归)规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。 决策树基本算法的递归返回原因： 当前结点包含的样本属于同一类别无法划分 当前属性集为空或者所有样本在属性上的取值相同无法划分，此时标记为叶结点，并将类别设置为该结点所含样本最多的类别。 当前结点包含的样本集合为空无法划分，将其设置为叶结点并将其类别设置为父结点所含样本最多的类别。 二、划分选择 2.1 信息增益 2
西瓜书第四章决策树-详读-第一部分
weixin_55064870的博客
12-19 464
决策树：一种常见的机器学习方法：每个测试的结果或者是导出进一步的判定问题，或者是最终结论。决策树：一种常见的机器学习方法：每个测试的结果或者是导出进一步的判定问题，或者是最终结论。一颗决策树通常包含一个根节点、若干个内部节点【属性测试】和若干个叶节点【决策结果】。决策树学习基本算法：是一种有监督学习算法，主要用于解决分类与回归问题。1，当前节点包含的样本都属于同一个类别，已经无须再划分。2，当前属性集为空，或者所有样本在所有属性上取值都相同，无法划分。
西瓜书 第四章 决策树
weixin_43604754的博客
07-22 217
算法原理 决策树是基于树结构对问题进行决策或判定的过程。 决策过程中提出的判定问题（内部节点）是对某个属性的“测试”，每个测试的结果可以导出最终结论（叶节点）或导出进一步判定问题（下一层内部节点，其考虑范围是在上次决策结果的限定范围之内）。 核心是选取划分条件（划分属性）。 最终目的样本划分越“纯”越好。 常见决策树算法 ID3决策树 C4.5决策树 CART决策树 参考：https://ifwind.github.io/2021/07/22/%E8%A5%BF%E7%93%9C%E4%B9%A6%E
机器学习西瓜书——第四章 决策树
qq_44941689的博客
06-22 2315
决策树学习的目的是为了产生一颗泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的“分而治之”策略。决策树的生成是一个递归过程。在决策树基本算法中，有三种情形会导致递归返回：(1)当前结点包含的样本全属于同一类别，无需划分；(2)当前属性集为空，或是所有样本在所有属性上取值相同，无法划分；(3)当前结点包含的样本集合为空，不能划分。在第(2)中情况下，我们把当前结点标记为叶结点，并将其类别设定为该结点所含样本最多的类别，即在利用当前结点的后验分布；在第(3)种情况下，同样把当前结点标记为叶结
机器学习笔记——西瓜书第四章决策树
weixin_43182899的博客
08-26 244
信息熵： 自信息：p(x)为取x的概率。 I(X)=−logbp(x)I(X)=-log_bp(x)I(X)=−logb​p(x) 信息熵（公式1）：自信息的期望，度量随机变量X的不确定性，信息熵越大，越不确定。假设当前样本集合D中第k类样本所占比例为pk，则D的信息熵定义为2 H(X)=E[I(X)]=−∑xp(x)logbp(x)−−−1Ent(D)=−∑x∣y∣pklog2pk−−−2H(X)=E[I(X)]=-\sum_{x}{p(x)log_bp(x)}---1 \\ Ent(D)=-\sum_{
西瓜书《机器学习》---第四章 决策树python代码实现
06-21
【对应博客内本章内容】 ...4.6 选择4个UCI数据集，对上述2种算法产生的未剪枝，预剪枝，后剪枝的决策树进行实验比较，并进行适当的统计显著性检验。 原文链接：https://blog.csdn.net/m0_46345193/article/details/
机器学习-西瓜书学习笔记-第四章决策树及代码
08-13
本章主要是关于决策树算法的详细介绍，包括以下几个核心内容： 1. 划分选择：决策树学习中，选择最优划分属性是关键。这涉及到如何度量样本集合的纯度，以及如何根据属性划分样本集合。 - 信息熵：信息熵是度量...
机器学习西瓜书（周志华）第四章 决策树
热门推荐
小蜗牛的博客
05-22 1万+
第四章 决策树1. 概述2. 特征选择2.1 信息增益2.2 信息增益率2.3 基尼指数3. 决策树生成4. 决策树剪枝4.1 预剪枝2. 对数几率回归（logistic regression）2.1 对数几率函数（logistic function）2.2 用极大似然求解2.3 LR的多分类问题3. 线性判别分析4. 多分类学习4.1 利用二分类学习器解决多分类问题4.2 最经典的拆分策略（Ov...
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 431
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1086
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
酷炫音乐盒: 使用Python和Tkinter配合Pygame打造自己的音乐播放器
宇宙第一小趴菜的博客
09-29 1195
Tkinter是一个功能强大且简单易用的库，适合构建轻量级的GUI应用程序。它在不同的操作系统上具有相同的外观和行为，因此可以实现跨平台的应用程序。当然，Tkinter还有更多的功能和细节，通过阅读官方文档和教程，你可以更深入地了解和学习如何运用Tkinter来创建各种GUI应用程序。
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Mopes__的博客
10-01 369
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Python编写的贪吃蛇小游戏
最新发布
WwLK123的博客
10-03 326
Python编写贪吃蛇小游戏。
合并两个有序数组
Sudo_Wang的学习记录
09-30 420
我们可以使用双指针法从后向前遍历，避免将已经排序的数组打乱。这个方法的核心思路是从。的末尾开始填充较大的元素，因为末尾是用零填充的空闲区域，这样我们可以避免覆盖。这个方法能够高效地解决问题，并且符合进阶要求的 O(m + n) 复杂度。
西瓜书第四章课后习题4.9
11-07
西瓜书第四章课后习题4.9要求使用C4.5算法构建决策树，并对决策树进行剪枝。具体来说，需要将数据集分为训练集和测试集，使用训练集构建决策树，然后使用测试集对决策树进行剪枝，并比较剪枝前后的性能差异。可以...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

匿名momo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值