关于决策树损失函数来源的理解与推导

最新推荐文章于 2025-02-15 15:36:57 发布
最新推荐文章于 2025-02-15 15:36:57 发布
阅读量9.1k 收藏 35
点赞数 16
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzk1996/article/details/81941572
版权
本文探讨了决策树学习中的损失函数，源于正则化的极大似然函数。通过反向推导，解释了叶节点实例数与经验熵乘积之和的含义，将其与极大似然函数联系起来，帮助读者深入理解决策树模型的损失函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在阅读《统计学习方法》5.1.4决策树学习一节过程中，有如下一句话引起博主疑惑：决策树的损失函数通常是正则化的极大似然函数。书上并未给出具体推导，直到5.4决策树的剪枝中，直接给出了正则化的决策树损失函数：C_{\alpha }(T)=\sum_{t=1}^{|T|}N_{t}H_{t}(T)+a|T|。其中|T|代表叶节点个数，N_{t}表示具体某个叶节点的样例数，H_{t}(T)表示叶节点经验熵表示叶节点经验熵。

我们知道正则化的损失函数中前一项代表经验误差，而在概率模型中(决策树模型是一种概率模型)，经验误差函数的获得往往通过将极大似然函数取反，即将求极大化为求极小而获得。因此，在概率模型中，极大似然函数与经验误差函数可以认为是相同的概念，那么必然就可以通过经验误差函数来推导出极大似然函数，以此来加深对决策树损失函数的理解。

我相信有相当一部分读者与博主一样，并不理解决策树损失函数的真正意义，表面上来看：将每个叶节点的实例个数与其经验熵的乘积相加，这究竟代表个什么玩意呢？现在，我将利用该损失函数反向推导出极大似然函数，当我们看到极大似然函数时&#

最低0.47元/天 解锁文章
机器学习——决策树推导
Python，数据分析，机器学习，深度学习
08-04 1672
一、C4.5算法概述 while（当前节点“不纯”）： 1.计算当前节点的类别熵Info(D)（以类别取值计算） 2.计算当前节点的属性熵Info(Ai)（按照属性取值下的类别取值计算） 3.计算各个属性的信息增益Gain(Ai) = Info(D) - Info(Ai) 4.计算各个属性的分类信息度量H(Ai）（按照属性取值计算） 5.计算各个属性的信息增益率 IGR = Gain(Ai) / H(Ai) end whi...
机器学习决策树算法之——理论推导与数学原理
WPR1991的博客
09-18 2243
    决策树作为一种分类算法，由于其强解释性与低学习成本，而广受欢迎，本篇文章仅从理论层面解释该算法的实现逻辑与数学推导过程。     说起决策树，离不开对信息熵的理解，该词来源于信息论，信息熵这个词对于我们来说比较陌生，用书面语说，信息熵就是所有可能发生事件所带来的信息量的期望。我用自己的通俗理解将其解释为：获取一个结论所需要的信息量（或者说获取结论而需要付出的代价）。举个例子，我需要判断一...
决策树损失函数
weixin_45834072的博客
11-12 2351
决策树损失函数一.决策树的损失函数二.如何理解 在学习决策树的过程中,会存在损失函数。损失函数是什么呢?如何理解? 一.决策树的损失函数 为了避免出现过拟合的现象，我们要对决策树进行剪枝。 决策树的剪枝类似一种参数正则化的过程，其选择正则化的参数是树的叶子节点的个数。 设决策树 T 的叶子节点个数为 |T|，t 是树 T 的叶子节点，该叶节点有 Nt 个样本点，其中 k 类的样本点有 Ntk 个，...
决策树（decision tree）：机器学习中的经典算法
最新发布
m0_61404163的博客
02-15 816
决策树具有由根节点、分支节点、内部节点和叶节点组成的层次结构，是一种用于分类和回归应用的非参数监督学习方法。它是一种应用于多个不同领域的工具。这些树既可用于分类，也可用于回归问题。从名称本身就可以看出，它使用类似树形结构的流程图来显示一系列基于特征的拆分所产生的预测结果。它以根节点开始，以叶节点做出的决定结束。
决策树的损失函数是什么？怎么理解？
weixin_45834085的博客
11-12 2646
在学习决策树的过程中,会存在损失函数。损失函数是什么呢?如何理解? 目录一.决策树的损失函数二.如何理解 一.决策树的损失函数 为了避免出现过拟合的现象，我们要对决策树进行剪枝。 决策树的剪枝类似一种参数正则化的过程，其选择正则化的参数是树的叶子节点的个数。 设决策树 T 的叶子节点个数为 |T|，t 是树 T 的叶子节点，该叶节点有 Nt 个样本点，其中 k 类的样本点有 Ntk 个，Ht(T)...
决策树的损失函数公式详细说明和例子说明
彬彬侠的博客
09-30 1551
详细介绍了决策树的损失函数的每个部分，加权的经验熵衡量了整个决策树的分类效果和正则化项控制树的复杂度，通过一个分类的例子一步步计算出了损失函数值。
决策树的损失函数及理解
weixin_45834080的博客
11-12 3709
目录1.决策树的损失函数2.对决策树损失函数的理解 1.决策树的损失函数 在《统计学习方法》5.1.4决策树学习这一节中，书中有提到：决策树的损失函数通常是正则化的极大似然函数。 在决策树学习算法的过程中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能因为训练样本学得“太好”了，以至于把训练集自身的一些特点当作所有数据都具有的一般性质而导致过拟合。所以我们...
决策树底层思想，决策树的损失函数与极大似然函数理解
weixin_45804601的博客
10-31 620
决策树底层思想，决策树的损失函数与极大似然函数理解
机器学习--决策树的损失函数是什么？怎么理解？
qq_44930315的博客
11-12 4677
决策树的损失函数是什么？ 决策树的损失函数通常是正则化的极大似然函数。 正则化的决策树损失函数： 其中|T|代表叶节点个数，表示具体某个叶节点的样例数，表示叶节点经验熵。 我们知道正则化的损失函数中前一项代表经验误差，而在概率模型中(决策树模型是一种概率模型)，经验误差函数的获得往往通过将极大似然函数取反，即将求极大化为求极小而获得。因此，在概率模型中，极大似然函数与经验误差函数可以认为是相同的...
机器学习笔记之十九——决策树的损失函数（补充）
D的博客
02-10 4345
  决策树生长的核心在于如何选择最优特征作为当前结点分割的特征。   当决策树如此生长完成后，对训练集程度会很好，但是对测试集一般都会出现高方差、过拟合的现象，如何预防这种现象，就是之前提到的预剪枝、后剪枝方法。   而剪枝过程换个方法来讲，其实就是在优化降低Loss function的的过程。   Loss function     设决策树T的叶节点个数为, 是树的叶节点，该叶节点有个...
决策树DT的损失函数
malele4th
04-21 1695
参考：https://www.jianshu.com/p/fb97b21aeb1d 决策树的学习本质上就是从训练数据集中归纳出一组分类规则，使它与训练数据矛盾较小的同时具有较强的泛华能力。 决策树的损失函数通常是 正则化的极大似然函数，学习的策略是最小化损失函数 由于这个最小化问题是一个NP完全问题，现实中，我们通常采用启发式算法来近似求解这一最优化问题，得到的决策树是次最优的。 该启发式...
分类决策树考虑了经验风险吗_如何理解决策树的损失函数?
weixin_30539747的博客
12-24 323
谢邀, 尽量用通俗易懂的语言描述一下, 希望能够帮助大家理解这玩意.1. 决策树本质上是按照某种方法/某些条件对数据进行分类. 正如一般的树结构, 这个分类是可以不断嵌套, 按层逐级细分的, 直到满足某个/某些条件为止. 一个最简单的例子是, 对某个数据按照一个条件进行分类, 这就是最简单的树, 可以用很简单的代码实现.例如有个数据集, 其中一个指标的直方图如图所示, 如果按照该指标将数据集分为...
分类问题损失函数的由来
weixin_42433740的博客
09-24 449
使用机器学习或深度学习来进行分类时，一个常用的损失函数叫交叉熵损失函数，那么为什么是它？仅仅是人为定义吗？我们来进行一个简单的推导
决策树剪枝算法原理　损失函数　正则化
bbbeoy的专栏
03-07 3946
算法目的：决策树的剪枝是为了简化决策树模型，避免过拟合。同样层数的决策树，叶结点的个数越多就越复杂；同样的叶结点个数的决策树，层数越多越复杂。剪枝前相比于剪枝后，叶结点个数和层数只能更多或者其中一特征一样多，剪枝前必然更复杂。层数越多，叶结点越多，分的越细致，对训练数据分的也越深，越容易过拟合，导致拟合测试数据时反而效果差。算法基本思路：剪去决策树模型中的一些子树或者叶结点，并将其上层的根结点作为...
损失函数
withme的博客
07-10 3882
损失函数统计学习中常用的损失函数： 平方损失函数 平方损失函数是最常见的损失函数，在回归中经常使用。 L(Y,f(X))=(Y−f(X))2L\left( {Y,f\left( X \right)} \right) = \left( {Y - f\left( X \right)} \right)^2 0-1损失函数 L(Y,f(X))=I(Y≠f(X))L\left( {Y,f\left(
损失函数(Loss Function)一文详解-回归问题常见损失函数Python代码实现+计算原理解析
热门推荐
master_hunter的博客
11-01 1万+
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识，方便以后我们遇到各类功能不同的损失函数有个清楚的认知，而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能，以及对整个损失函数体系进行深入了解。
决策树
lgy54321的博客
12-12 893
文章目录基本概念决策树的损失函数决策树学习策略决策树的学习过程特征选择方法（信息论）熵联合熵 基本概念 决策树是一类常见的机器学习算法，是一种简单但是广泛使用的分类器。顾名思义，决策树基于树结构进行决策。一般的，一颗决策树包含一个根结点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集...
决策树 Decision Tree
wydbyxr的博客
09-04 827
决策树（Decision Tree） 　　决策树可以看成为一个 if-then 规则的集合。决策树方法建立了一个根据数据中属性的实际值决策的模型。决策树用来解决分类和回归问题。 　　机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决...
决策树算法推导详解及Python实现：信息熵公式与纯度度量
决策树算法是一种强大的机器学习工具，用于分类和回归问题，其基础是通过一系列决策规则对数据...Python编程中，我们可以利用诸如log、mp等数学库来处理这些计算，同时理解如何应用导数和优化方法来优化决策树的结构。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值