学习笔记：机器学习之决策树

已于 2022-10-12 10:38:25 修改
阅读量731 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 机器学习 决策树 学习
于 2022-07-10 16:12:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44635691/article/details/125648857
版权

0 引入

        决策树是一种归纳式的机器学习算法,可用于分类和回归任务。

        比如生活中的选男朋友的例子，是否决定将自己托付终生给那个他，就是个二分类问题。考量一个人有很多考量属性，年龄、长相、收入等等。决策树可以帮做做出决策，经过一个个if-then规则后可得到答案。

        大部分人会首先考虑年龄，认为这是一个首要考虑的指标，年纪太大可能直接Pass了，年龄合适，再继续考量后边的指标。决策树算法就是建立一个模型去帮你做决策，就是解决这个问题的。

决策树学习本质上是从训练数据集中归纳出一组分类规则。

怎么实现呢？

1.很明显,我们需要知道每个判断节点(上图绿色节点)选择的标准，为什么选择它？

2.与其他机器学习算法类似，不免会出现过拟合现象，如何解决？

1 理解两个概念

1.1  信息增益

        1.1.1 熵(entropy)

        熵是信息量大小的度量，即表示随机变量不确定性的度量。

        随机变量X的概率分布为:      P(X=x_i)=p_i

        随机变量X的熵：

H(X)=-\sum^n_{i=1}p_ilogp_i

        熵越大，随机变量的不确定性越大

         1.1.2 条件熵(conditional entropy)

        条件熵H(Y|X)表示在X的条件下随机变量Y的不确定性。定义为在X的条件下，Y的条件概率分布的熵对X的数学期望。

H(Y|X)=\sum^n_{i=1}p_iH(Y|X=x_i)

（期望怎么算来着？所有样本点的值乘以该事件发生概率再求和，这里的H(Y|X=xi)相当于样本值）

        另外，当熵和条件熵由数据估计得到时，对应的熵为经验熵和经验条件熵。

        铺垫完两个概念，接下来到了信息增益。

         1.1.2 信息增益(Information gain)

        信息增益是特征A对训练数据集D的信息增益g(D,A)。定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差。

即：

g(D,A)=H(D)-H(D|A)

H(D)表示数据集D的经验熵；

H(D|A)表示数据集D中的特征A对D的经验熵,反映的是A参与下对数据集D分类的不确定性；

则H(D|A)越小，g(D,A)越大，说明A对分类数据集D有明显的导向作用。

(到这里是不是有点头绪怎么寻找决策树中的中间判断节点了？）

         1.1.3 信息增益的算法

        熵的计算复杂程度要比基尼指数的计算要更复杂，但是两者在分类效果上相差不大，下边再介绍一种 最优特征选择方式——基尼指数

1.2 基尼指数

基尼指数反映的是集合D的不确定性

\operatorname{Gini}(D)=1-\sum_{k=1}^{K}\left(\frac{\left|C_{k}\right|}{|D|}\right)^{2}

与经验条件熵类似，这里有在特征A下，集合D的基尼指数定义：

\operatorname{Gini}(D, A)=\frac{\left|D_{1}\right|}{|D|} \operatorname{Gini}\left(D_{1}\right)+\frac{\left|D_{2}\right|}{|D|} \operatorname{Gini}\left(D_{2}\right)

（这个式子我的理解是一种对于子集D1,D2基尼指数的加权求和）

与熵类似，基尼指数越大，样本集合的不确定性越大。

2 ID3和C4.5算法

2.1 ID3算法

        ID3算法的核心是用信息增益去选择最优特征，采用递归地方式构建决策树。

决策树生成例子：【合集·第五篇章】十分钟 机器学习系列 第五篇章：决策树_哔哩哔哩_bilibili

2.2  C4.5算法

        由于以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题，使用信息增益比可以对这一问题进行校正。

信息增益比: 特征A对训练数据集D的信息增益比定义为信息增益与训练数据集D关于特征A的值的熵之比

        g_{R}(D, A)=\frac{g(D, A)}{H(D)}

        C4.5在决策树生成过程中用信息增益比来选择特征，算法过程和ID3一致。

3 剪枝

        由于生成的决策树存在过拟合问题，需要对它进行剪枝。

        设树T的叶结点个数为|T|,t是树的叶结点，叶结点由Nt个样本点，其中k类的样本点由N_{ik} 个，H_t(T)为叶结点t上的经验熵。则决策函数的算是函数可定义为

4 CART 算法

CART:classification and regression tree

        CART算法的核心是采用基尼指数作为特征选择标准，递归构建二叉树。

4.1  CART分类树生成过程

  1. 从根节点出发，构建二叉树；
  2. 计算所有特征对D的基尼指数，选择基尼指数最小的特征最为最优特征A,A的取值a是基尼指数最小的话将其作为最优切分点；

  3. 根据最优特征和最优切分点，生成两个子节点，并将数据集分配到对应的子节点中；

  4. 分别对两个子节点继续递归调用上面的步骤，直到满足条件，即生成CART分类决策树。

4.2 剪枝

剪枝前的损失函数：

剪枝后|T|=1,损失函数为：

 则

References

  1. https://quantdare.com/decision-trees-gini-vs-entropy/#:~:text=Conclusions,entropy%20criterion%20are%20slightly%20better.
  2. 【十分钟 机器学习 系列课程】 讲义（二十九）：CART算法剪枝
  3. 《统计学习方法》——李航
萌龙如我们
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习（四）：决策树
tb店铺搜：FUN STORE玩物社，专业买手挑选送礼好物
04-14 2312
引言：     决策树是一种基本的分类与回归方法，本文主要讨论用于分类的决策树。     决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。     决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。     ...
详解机器学习中的熵_机器学习中的熵
weixin_26750481的博客
08-27 1045
详解机器学习中的熵Entropy is a familiar concept in physics, where it is used to measure the amount of “disorder” in a system. In 1948, mathematician Claude Shannon expanded this concept to information theory i...
[学习笔记] [机器学习] 6. [上]决策树算法（熵Entropy、信息增益（率）、基尼值（指数）、CART剪枝、特征工程特征提取、Jieba分词、回归决策树）
Le0v1n 的博客
05-22 1670
1. 熵Entropy；2. 信息增益（率）；3. 基尼值（指数）；4. CART剪枝；5. 特征工程特征提取；6. 回归决策树
机器学习笔记-决策树
小刘同学要努力的博客
12-14 1119
机器学习 决策树
决策树算法梳理
absent1353的博客
03-05 540
信息论基础 熵 联合熵 条件熵 信息增益 基尼不纯度 熵：(entropy)是表示随机变量不确定性的度量，如果一件事有nnn种可能结果，每种结果的概率为pi(i=1,2…,n)p_i(i=1,2…,n)pi​(i=1,2…,n)，那么熵表示为 H=−∑i=1npilogpiH = -\sum _{i=1}^{n}p_ilogp_iH=−i=1∑n​pi​logpi​ 熵越大，随机变量的不确定性就越...
笔记：机器学习之决策树
guangguyu的博客
07-24 465
目录   决策树概述 决策树的构建 特征选择 生成决策树 剪枝 特征选择 生成决策树 剪枝 用决策树对鸢尾花的预测 决策树概述 决策树（decision tree）是功能强大的且非常好用的的分类和预测方法，它是一种有监督的学习算法。以树状图为基础，故称为决策树。这里以分类为主题。对于离散值，决策树中的每一个非叶节点都是数据的一个特征，叶节点是数据的分类，决策树从根节点沿着不...
机器学习笔记：决策树
jlycd的博客
01-30 233
决策树模型建立重要参数画图参数调优 模型建立 决策树是一种常见的机器学习算法，既可以做分类也可以做回归。决策树的执行过程是将数据从根节点一步一步的划分到各个叶子节点（决策的过程）。决策树包括以下组成成分： 根节点 肥叶子节点与分支 叶子节点（最终的决策结果） 核心：（怎样找到最佳树） 如何在表中找到最佳节点和最佳分支 如何让决策树停止生长 防止过拟合 模块 sklearn.tree tree.DecisionTreeClassifier 分类树 tree.DecisionTreeRegressor 回归树
决策树学习笔记.zip
04-25
在机器学习中，决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。 决策树的应用场景非常广泛，包括但不限于以下几个方面： 金融风险评估：决策树可以用于预测客户借款违约概率，帮助银行更好地...
机器学习-决策树视频教学
06-09
总的来说，这个机器学习决策树视频教学课程是一个全面且实用的学习资源，它将引导你从基础知识到实战技巧，让你能够在人工智能领域熟练运用决策树算法。无论是对机器学习感兴趣的初学者还是希望进一步提升技能的专业...
机器学习笔记2–sklearn之iris数据集
01-27
我将分别使用两种不同的scikit-learn内置算法——DecisionTree（决策树）和kNN（邻近算法），随后我也会尝试自己实现kNN算法。目前为止，我还是在机器学习的入门阶段，文章中暂不详细解释算法原理，如果想了解细节...
机器学习实战第三章决策树
01-20
这是以本人的笔记的形式写的，各个函数逐个来写，至于存放在那个模块大家可以看书，这里不再详细讲解。可能存在错误，有不对的的地方希望评论给予改正。多谢大家嘻嘻
决策树算法
noob9527的博客
11-15 700
决策树是非参数学习算法，可以解决分类问题，天然可以解决多分类问题，也可以解决回归问题，有非常好的可解释性。编写PlotDecisionBoundary.py文件从决策边界图像可以看出，首先X小于2.4被划分为A类，其余数据被分做一类，然后y小于1.8被划分为B类，大于1.8被划分为C类。
决策树——信息熵，条件熵，信息增益
qq_41325078的博客
05-27 1412
1、信息熵 信息熵是度量样本集的纯合度的一种常用的指标，熵值越大，随机变量的不确定性越高。 比如： {0,0,01,1,1,1} {1,2,3,4,5,6,7} 在这两组数据中，上面的数据的不确定性要小，只有两种可能性，抽中的数字2的概率为1/2。所以其熵值就低 下面的那组数据的不确定性就要大，每个数字抽中的概率都要小。所以其熵值要高，不确定性就越大。 信息熵公式： ...
机器学习（三）决策树
weixin_51547017的博客
04-10 2212
一、决策树介绍 决策树是一类常见的机器学习的方法。 一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶子结点： 叶子结点对应于决策结果，其他每个节点对应于一个测试属性； 2.每个结点包含的样本集合根据属性测试的结果被划分到子结点中； 3.根结点包含样本全集； 二、决策树的目的 决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树。 三、决策树学习算法 1.ID3决策树学习算法 该算法是以信息增益为准则来选择划分属性； 该算法用于分类； 该算法不支持剪枝操作； 2.C4.5
数据挖掘 / 机器学习——决策树
Lilo_的博客
04-11 4251
第四章 决策树 一、概述 1. 任务属性 分类任务 2. 结构 根结点：样本全集 内部结点：表示一个特征或属性 叶结点：表示一个类 3. 基本算法 4. 生成过程 决策树的生成是一个递归过程。有三种情形会导致递归返回：①当前结点包含的样本全属于同一类别，无需划分；②当前属性集为空，或是所有样本在所有属性上取值相同，无法划分；【把当前结点标记为叶结点，将其类别设定为该结点包含样本最多的类别-利用当前结点的后验分布】③当前结点包含的样本集合为空，不能划分。【把当前结点标记为叶结点，但将其类别设定为其父节点所含
[学习笔记] [机器学习] 6. [下]决策树算法（熵Entropy、信息增益（率）、基尼值（指数）、CART剪枝、特征工程特征提取、回归决策树）
Le0v1n 的博客
05-22 1442
1. 熵Entropy；2. 信息增益（率）；3. 基尼值（指数）；4. CART剪枝；5. 特征工程特征提取；6. 回归决策树
机器学习 - 决策树
北堂飘霜_记录
01-05 911
熵是信息论中的一个核心概念，最初由克劳德·香农提出。它是用来量化信息中的不确定性或混乱度的度量。在信息论中，熵可以理解为传输的信息量或系统的无序程度。我们通过信息增益构建决策树，决策树类似于if else条件流程，我们可以使用python的绘图工具画出来。决策树的范例，如下，我们通过决策树就可以直接得到预测结果。
Python 机器学习求解 PDE 学习项目——PINN 求解二维 Poisson 方程
最新发布
qq_39538718的博客
07-23 1613
Python 机器学习求解 PDE 学习项目——PINN 求解二维 Poisson 方程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值