统计学习方法 第5章 决策树（2）

最新推荐文章于 2024-11-07 22:09:22 发布
最新推荐文章于 2024-11-07 22:09:22 发布
阅读量496 收藏
点赞数
分类专栏： 统计学习方法 文章标签： 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/super_chicken/article/details/78642453
版权
本文详细介绍了决策树的剪枝方法，通过损失函数来减少过拟合，并探讨了CART算法在生成回归树和分类树过程中的具体步骤，包括如何选择最优切分特征和切分点。此外，还解释了CART剪枝的原理和应用。
摘要由CSDN通过智能技术生成

统计学习方法 第5章 决策树（2）

剪枝

决策树生成算法递归地产生决策树，直到不能继续为止。这样的树往往对训练数据分类准确，但对测试数据分类却没有那么准确，即出现过拟合。其原因在于决策树过于复杂。
解决这个问题的方法是简化决策树的复杂度，即剪枝，从已生成的决策树上裁掉一些子树或子节点。

决策树剪枝通过极小化决策树整体损失函数实现。
设树T的子节点个数为|T|，t为叶节点，该叶节点有Nt个样本点，其中k类的样本点有Ntk个，则损失函数定义为：

其中经验熵：

即模型对训练数据的预测误差和模型复杂度按一定比例的和。其中α为参数，控制两者之间的影响。

剪枝即在α确定时选择损失函数最小的模型。

对生成的整个树T和参数α：
1. 计算每个节点的经验熵
2. 递归地从叶节点向上回退，计算一组叶节点会退到其父节点之前和之后的损失函数，若减小则进行剪枝，即将父节点变成新的叶节点
3. 持续直到无法继续

CART算法

分类与回归树CART由特征选择，树生成和剪枝组成，可用于分类和回归。

回归树的生成<
最低0.47元/天 解锁文章
super_chicken
关注
专栏目录
李航 统计学习方法 第五章 决策树 课后 习题 答案
fxnfk
07-24 4万+
决策树是一种基本的分类和回归方法。决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间和类空间上的条件概率分布。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的剪枝。（ID3、C4.5、CART）
《李航 统计学习方法》学习笔记——第五章决策树
eveiii的博客
05-21 663
决策树5.1 决策树模型与学习5.2 特征选择5.2.1 信息增益 5.1 决策树模型与学习 分类决策树模型是一种描述对实例进行分类得树形结构。内部节点表示一个特征或属性，叶子节点表示一个类。 路径上内部节点的特征对应着规则的结论，而叶节点的类对应着规则的结论。决策树的路径具有一个重要的性质：互斥并且完备，每一个实例都被一条路径或一条规则所覆盖，且只被一条路径或一条规则所覆盖。 决策树与条件概率 决策树还可以表示给定特征条件下类的条件概率分布。下图中(a)的大正方形表示特征空间，每个小矩形表示一个单元。
《统计学习方法》第5章 决策树
m0_37180911的博客
01-17 258
《统计学习方法》第5章 决策树5.1 决策树模型的学习5.1.1 决策树模型5.1.2 决策树与if-then规则5.1.3 决策树与条件概率分布5.1.4 决策树学习5.2 特征选择 基本的分类和回归方法 在分类问题中，表示基于特征对实例进行分类的过程。 if-then规则的几何，或定义在特征空间与类空间上的条件概率分布 优点：可读性和分类速度快 损失函数最小化的原则建立决策树模型 三个步骤：特...
机器学习——决策树算法
Flamingo的博客
09-15 946
文章目录决策树算法基本概念 决策树算法 决策树算法是一种分类算法。在分类问题中，决策树算法通过样本中某一维属性的值，将样本划分到不同的类别中。可以举一个生活中的例子来简单说明什么是决策树算法。 案例： 一个女孩的母亲给女孩介绍一个男朋友。 女儿：多大年纪了？母亲：28。 女儿：长得帅吗？母亲：帅。 女儿：收入高吗？母亲：中等。 女儿：是公务员吗？母亲：是。 女儿：那就见见。 上述案例就可以用决策树表示为： 基本概念 决策树的组成： 根节点：第一个选择的点； 中间节点：中间的过程； 叶子结点：最终的结果（
决策树中的基尼系数、 熵之半和分类误差率
MinerYCC
05-10 5663
1、分类误差率 在二分类中，对于任意一个叶子节点，假设其中一个类别A占比（概率）为p，则另外一个类别B的占比（概率）就是1-p。那么，我们可以直观地将分类误差作为损失，即： 上式表示：当一个叶子类目中的类别A占比较多时（p>0.5），进入该叶子结点的样本就会被判别为类别A，那么剩下的占比为1-p的（类别B）样本则会被分类错误，随之产生的分类误差率就是1-p；反之，当叶子结点中类别A样本较少（p<=0.5）时，该叶子结点就表示类别B，所有进入该节点的类别A样本将会被分类错误，随之产生的..
数据挖掘150道试题 测测你的专业能力过关吗？
大数据技术杂谈
03-09 6895
单选题 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Prec
二类分类中基尼指数、 熵之半和分类误差率的关系
a857553315的博客
07-12 4290
import numpy as np from matplotlib import pyplot as plt import matplotlib as mpl mpl.rcParams['font.sans-serif'] = ['simHei'] mpl.rcParams['axes.unicode_minus'] = False p = np.linspace(0.0001, 0.99...
清华出品 机器学习技术课程 统计学习方法第二版系列课程 第5章 决策树 共98页.pptx
05-03
为了解决这些问题，可以采用剪枝策略来简化决策树，或者结合集成学习方法如随机森林或梯度提升树，提高模型的泛化能力和稳定性。 总的来说，决策树是一种直观、易理解的机器学习算法，适用于解决分类问题，其理论...
李航老师《统计学习方法》第2版课件：第5章 决策树.rar
03-10
通过李航老师的《统计学习方法》第5章，你可以系统地学习决策树的理论基础，理解其工作原理，以及如何在实际问题中应用和优化决策树模型。同时，配套的课件PPTX文件将为学习提供可视化支持，帮助更好地理解和掌握...
《统计学习方法》第五章：决策树
11-25
### 《统计学习方法》第五章：决策树 #### 5.1 决策树模型与学习 ##### 5.1.1 决策树模型 决策树是一种用于分类和回归的强大工具，它通过一系列的if-then规则来进行决策。在决策树中，树的每个节点代表一个特征或...
数据挖掘导论 第4章 分类：基本概念、决策树与模型评估
weixin_33742618的博客
12-16 1520
第4章 分类：基本概念、决策树与模型评估 分类（classification）：分类任务就是通过学习得到一个目标函数（target function）f，把每个属性集x映射到一个余弦定义的类标号y。目标函数也称为分类模型（classification model）。 属性可以是离散的或者连续的，但类标号必须是离散的，这正是分类与回归（regression）的关键特征。回归是一种预测建模任务，其...
决策树学习笔记（二）
hczheng的专栏
09-09 7507
决策树学习笔记(二)接着上一篇接着上一篇笔记决策树学习笔记(一)继续学习，上一篇主要是对决策模型的初步认识和理解以及特征选择的一些规则；接下去就是决策树算法的具体实现和优化，包括决策树生成、剪枝以及分类与回归树(CART)详解。分类与回归树模型还会在后续的提升树学习中结合使用。
决策数算法进阶：属性测试条件、最佳划分度量、过拟合现象的处理
Yancy的博客
11-25 1801
我们在先前博文中已经简要介绍了决策树的思想和几个经典算法来构造决策树：《决策树算法简介及其MATLAB实现代码》。今天我们要针对决策树继续深入探讨一些的问题，目录如下： 目录 一、表示属性测试条件的方法 二、选择最佳划分的度量 三、处理决策树归纳中的过分拟合现象 一、表示属性测试条件的方法 决策树在增长过程中的每个递归步都要选择一个属性测试条件，将数据划分成更小的子集。为了实现这个步骤...
《数据挖掘导论》 - 读书笔记(5) - 分类：基本概念、决策树与模型评估 [2016-8-21]...
weixin_30907935的博客
09-17 3937
第4章　　分类:基本概念、决策树与模型评估 　　分类任务就是确定对象属于哪个预定义的目标类。分类问题是一个普遍存在的问题，有许多不同的应用。例如：根据电子邮件的标题和内容检查出垃圾邮件，根据核磁共振扫描的结果区分肿瘤是恶性的还是良性的，根据星系的形状对它们进行分析。 　　本章介绍分类的基本概念，讨论诸如模型的过分拟合等关键问题，并提供评估和比较分类技术性能的方法。尽管本章主要关注一种称作决策树...
CART分类与回归树
redis的专栏
01-19 1504
决策树的类型 (1)分类树：输出是样本的类标； (2)回归树：输出是一个实数 (例如房子的价格，病人呆在医院的时间等)。        分类回归树(CART,Classification And Regression Tree)也属于一种决策树， 包含了上述两种决策树，之前我们介绍了基于ID3算法和C4.5算法的决策树。这里只介绍CART是怎样用于分类的。       分类回归树是一
8.机器学习--决策树
我是个好人呀，????
11-07 1152
(⊙﹏⊙)下周有要开组会，不知道该说啥，啊啊啊啊😫提到树，我们第一反应都是数据结构中的二叉树，那么决策树又是什么？他有什么特别之处呢？决策树是一类常见的机器学习算法。按照西瓜书里给出的定义👇：这个定义看起来还是有些晦涩，通俗的来讲，决策树就是一种依赖树型结构进行决策的模型。例如，我们买西瓜的时候肯定想挑一个熟透的好瓜，一般来讲我们都有一套判断这个西瓜怎么样的标准，比如拍一拍听西瓜的声音是怎么样的？西瓜的色泽是不是鲜明的等等，我们把每个判断标准作为一个树结点，判断结果作为两个子结点连接下一个判断条件，最终
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
u013172930的博客
11-07 950
公式(12-14)是XGBoost的正则化项，用于控制树的复杂度。第一部分惩罚树的叶子节点数量，防止模型过于复杂；第二部分惩罚叶子节点权重的大小，防止某些节点权重过大而导致的过拟合。通过正则化项，XGBoost可以有效地控制模型的复杂度，从而在训练精度和泛化能力之间取得平衡。
数据分析高级培训：客户体验分析-课件
11-10
课程目标： 本课程旨在让学员了解什么是客户体验，客户服务体验的重要性以及常见指标，掌握客户体验的分析方法，学会客户问题的识别以及针对问题制定有效的解决方案。 课程大纲： 客户体验的概述 客户体验的分析方法 客户问题解决的方法论
【微电网潮流】分布式电源微电网潮流【Matlab仿真 7357期】.zip
最新发布
11-10
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
决策树详解：统计学习方法笔记第五章
在本篇读书笔记中，我们深入探讨了《统计学习方法》（李航）第二版中的决策树这一核心概念。决策树作为一种基础的分类与回归工具，以其直观性和高效性在数据分析中占据重要地位。它通过if-then规则集合和条件概率...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值