机器学习06：决策树学习

已于 2023-01-16 13:37:51 修改
阅读量271 收藏 2
点赞数 1
分类专栏： 机器学习 文章标签： 决策树
于 2022-07-11 21:11:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/myf_666/article/details/125092015
版权

作者：非妃是公主
专栏：《机器学习》
个性签：顺境不惰，逆境不馁，以心制境，万事可成。——曾国藩
在这里插入图片描述

专栏地址

《机器学习》专栏地址

专栏系列文章

机器学习01：绪论

机器学习02：模型评估

机器学习03：线性回归与多分类学习

机器学习04：支持向量机

机器学习05：神经网络学习

机器学习06：决策树学习

机器学习07：贝叶斯学习

机器学习08：最近邻学习

机器学习09：无监督学习

机器学习10：集成学习

机器学习11：代价敏感学习

机器学习12：演化学习

文章目录

决策树学习基本知识

在这里插入图片描述
在这里插入图片描述

决策树学习基本算法

在这里插入图片描述
上面是一个递归调用的过程

决策树学习常见问题

最佳划分的度量问题

在这里插入图片描述
在这里插入图片描述
选择能使熵最大减小的属性
在这里插入图片描述

结合图像理解三个指数

熵x ∈ \in ∈[0, 1]：

在这里插入图片描述

基尼指数x ∈ \in ∈[0, 1]：

在这里插入图片描述
做一条辅助线就会发现：越靠近中间，红色的线越长，说明我们熵是越大的
在这里插入图片描述

误分类率x ∈ \in ∈[0, 1]：

在这里插入图片描述

在这里插入图片描述

C4.5决策树算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
从图像可以理解：属性分布越均匀，SplitInfo越大
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
加上下面六种统计信息增益度量的方法，一共存在9种
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
堂兄弟姐妹类型可以不同
在这里插入图片描述
在这里插入图片描述

处理确实属性值问题

在这里插入图片描述
在这里插入图片描述

处理连续属性值问题

离散化
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

叶子结点判定问题

在这里插入图片描述

怎样解决过拟合问题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

待测样本分类问题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

决策树学习理解解释

在这里插入图片描述
决策树表达为析取表达式（可解释性）：
在这里插入图片描述

Cherries Man
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习补充：决策树1
08-03
决策树是一种广泛应用于机器学习中的算法，主要用于分类和回归任务。它通过构建一棵树状模型来模拟决策过程，其中每个内部节点代表一个特征或属性测试，每个分支代表一个测试输出，而每个叶节点则代表一个类别或数值...
机器学习06:决策树【代码及数据文件】
11-04
CLS算法，依据其中选择分类属性的策略不同，可以得到不同的决策树算法。比较常用的决策树有D3，C4.5和CART三种和实现，其中CART一般优于其他决策树，并且可用于回归任务。下面我们将编写代码实现这三种决策树算法。
机器学习三：决策树
泠山的博客
03-23 4443
机器学习三：决策树1. 介绍2. 参数2.1. min_samples_split2.2. 不纯度和熵2.2.1 信息增益2.1.1.1 信息增益计算3. Bias-Variance Dilemma4. 总结5. SK Learn 1. 介绍 决策树是机器学习中最早也是最常使用的算法之一，它已经有几十年历史，稳定性非常好。 它和支持向量机类似，也可以在这里使用核技巧，将线性决策面转换为非线性。决策树可以通过核技巧把简单的线性决策面转换为非线性的决策面。 举个例子，有个叫 Tom 的朋友，他非常喜欢冲浪，而冲
机器学习算法:决策树算法
读万卷书 行万里路
06-16 6367
决策树(Decision Tree)是一种基本的分类和回归算法。该算法模型呈树形结构，主要由结点和有向边组成。
python机器学习：决策树详解
oax_knud的博客
07-17 3万+
文章目录一、决策树工作原理1.1 定义1.2 决策树结构1.3 核心问题二、sklearn库中的决策树2.1 模块sklearn.tree2.2 sklearn建模基本流程三、分类树3.1构造函数 一、决策树工作原理 1.1 定义 决策时(Decislon Tree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则。并用树状图的结构来呈现这些规则，**以解决分类和回归问题。**决策树算法的本质是一种图结构， 我们只需要问一系列问题就可以对数据进行分类。 举例：动物类别分类 已知
机器学习6：决策树相关的概念
科学边界
03-17 2445
先补充一个物理概念 熵 Entropy: 度量事物的不确定性，不确定性越高，熵就越大，反之越确定，熵越小； 随机事件(多类别)的熵可以表示为： entropy=−p1log2(p1)−p2log2(p2)−...−pnlog2(pn)=−∑i=1npilog2(pi) entropy = -p_1log_2{(p1)} - p_2log_2(p2) - ... - p_nlog_2(p_n) = ...
机器学习——决策树
maggieyiyi的博客
03-28 1万+
一、决策树定义： 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。 结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。 ⚪：内部结点 正方形：叶结点 二、决策树特征选择 2.1 特征选择问题 特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果用一个特征去分类，得到的结果与随机的分类没有很大差别，那么这次分类是无
机器学习：决策树算法
qq_52233007的博客
11-14 2080
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
机器学习（四）：决策树
04-15 3793
机器学习（四）：决策树
【机器学习】从理论到实践：决策树算法在机器学习中的应用与实现
qq_61024956的博客
06-20 4616
本文详细介绍了决策树的基本原理、构建过程及其在机器学习中的应用。通过详细的代码示例，我们展示了如何使用决策树进行分类和回归任务，并探讨了决策树的优缺点及其改进方法。希望通过本文的介绍，读者能够更深入地理解决策树算法，并能在实际应用中灵活运用这一强大的工具。无论是在特征选择、分类任务、回归任务还是异常检测中，决策树都展现出了其独特的优势和广泛的应用前景。通过不断优化和改进，决策树将在更多的机器学习任务中发挥重要作用。
【机器学习实战】3、决策树
热门推荐
呆呆的猫的博客
03-13 36万+
(声明：本文内容来自机器学习实战和统计学习方法，是两者的整合，并非来自单个书籍）决策树（decision tree）：是一种基本的分类与回归方法，此处主要讨论分类的决策树。在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。用决策树分类：从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测
机器学习实验——决策树
cangzhexingxing的博客
04-06 1647
1. 实验目标 学习决策树的CART算法 2研究流程图 3.理论学习部分： 3.1 概述 决策树(decision tree)是功能强大而且相当受欢迎的分类和预测方法，它是一种有监督的学习算法，以树状图为基础，其输出结果为一系列简单实用的规则，故得名决策树。决策树就是一系列的if-then语句，决策树可以用于分类问题，也可以用于回归问题。本文主要讨论分类决策树。 决策树模型基于特征对实例进行分类，它是一个树状结构。决策树的优点是可读性强，分类速度快。学习决策树时，通...
机器学习之决策树.zip
04-25
在机器学习中，决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。 决策树的应用场景非常广泛，包括但不限于以下几个方面： 金融风险评估：决策树可以用于预测客户借款违约概率，帮助银行更好地...
python机器学习算法决策树和聚类分析实验报告
05-11
"Python机器学习算法决策树和聚类分析实验报告" Python 机器学习算法决策树和聚类分析实验报告中涉及到以下几个重要的知识点： 1. 决策树（Decision Tree）的概念和构造过程：决策树是一种常用的机器学习算法，...
机器学习决策树实验测试集
04-26
https://blog.csdn.net/freezing_00/article/details/124088650#comments_21088107，此博客中的测试集
【python】基于决策树的语音识别
m0_58683132的博客
07-13 598
决策树模型呈树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，每个叶节点代表一种分类结果。决策树的构建主要基于贪心算法，它遵循“分而治之”的原则，通过不断地选择最优特征对数据集进行划分，直到满足某个停止条件（如：所有样本都属于同一类别，或者没有更多的特征可供选择等）。决策树被广泛应用于各种领域，包括金融、医疗、市场营销、生物信息学等。总的来说，决策树是一种简单而强大的机器学习算法，它能够以直观的方式展现数据的分类过程，并且具有良好的解释性和泛化能力。
使用Scikit-Learn决策树：分类问题解决方案指南
weixin_41859354的博客
07-14 595
决策树是一种树形结构，每个非叶节点表示一个特征属性上的决策，每个分支代表一个决策结果的可能性，而每个叶节点对应一个类标签。决策树的构建过程涉及特征选择、树的生成和剪枝等步骤，常见的算法有ID3、CART和C4.5等。我们使用Iris（鸢尾花）数据集作为示例数据集。这是一个经典的多类别分类问题，有150个样本，每个样本包含4个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）和一个目标类标签（三种鸢尾花的类别）。本教程详细介绍了如何使用scikit-learn库中的决策树分类器解决分类问题。
光纤振动传感器的研究.doc
最新发布
07-16
传感器
机器学习理论知识 机器学习基础入门教程 3 决策树（共44页）.pptx
12-18
该资源是一份完整的机器学习理论知识教程，包括多个部分，重点讲解了决策树这一机器学习算法。教程覆盖了从基础概念到实际应用的多个方面，旨在帮助初学者入门机器学习。 在机器学习领域，决策树是一种广泛应用的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cherries Man

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值