决策树--回归树

最新推荐文章于 2024-04-29 11:23:04 发布
最新推荐文章于 2024-04-29 11:23:04 发布
阅读量934 收藏 1
点赞数 1
分类专栏： 机器学习笔记 文章标签： 回归 数据挖掘 机器学习 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48474362/article/details/130261305
版权

目录

定义

1D回归树的建立

根据例题建立回归树

第一步：计算所有阈值及其对应残差平方和（SSR）

第二步：找最佳阈值并进行二叉树建立

注意

N-D回归树的建立

第一步：找出最佳分类特征及其阈值

第二步：延伸回归树

过拟合问题

样本问题

生成的树有问题

先剪枝

优点

缺点

后剪枝

Reduced-Error Pruning(REP,错误率降低剪枝）    

Pesimistic-Error Pruning(PEP,悲观错误剪枝)

Cost-Complexity Pruning(CCP，代价复杂度剪枝)

Error-Based Pruning（EBP，基于错误的剪枝）

优点

缺点

参考资料

定义

用树模型做回归问题，每一片叶子都输出一个预测值

1D回归树的建立

（备注：Dosage:药物的剂量（x）; Effectiveness: 药物的有效度（y））

根据例题建立回归树

第一步：计算所有阈值及其对应残差平方和（SSR）

从第一个和第二个观测点开始考虑，计算它们两个平均剂量作为第一个考虑的阈值（这里为3，所以阈值为3），这里的目标是根据阈值建立一个简单的二叉树，并求出这棵树的残差平方和（Sum of Squared Residuals，SSR，左右子树SSR相加）

（a）左子树

  1. 先求出阈值左边所有数据的y的均值y'（作为预测值）（下图y'=0）
  2. 计算单个SR，即（y'-y）^2, 然后将所有SR相加，即为左子树SSR （下图里为SSR=0）

（b）右子树

  1.  先求出阈值右边所有数据的y的均值y'（作为预测值）（下图y'=38.8）
  2. 计算单个SR，然后将所有SR相加

 

此时得到阈值为3时，树的SSR为27468.5.

第二步：找最佳阈值并进行二叉树建立

重复1，每次考虑第i和第i+1个观测点，求出所有阈值的SSR，下图为每个阈值的SSR的plot

 找到最小的SSR对应的阈值，然后将此阈值定为分裂点

 此时一部分二叉树就建立好了，接下来就是重复进行上面的1,2步骤，下图为一个例子：

此时的数据范围是：剂量<14.5的所有观测点，找出每个阈值的SSR，找到最小的SSR对应的阈值（11.5），此时剂量=11.5为部分二叉树的分裂点。

 

====

注意

二叉树可以一直分下去，但是分的过于细致就会过拟合。要考虑何时停止分裂。最简单的办法为设置一个最小分裂数量，通常为20，也就是如果现在范围内的观测点少于20，则不再进行分裂，以叶子结束。

====

N-D回归树的建立

当有多个因变量时，算法与上面基本一致，只是多了更多的重复运算和比较。

第一步：找出最佳分类特征及其阈值

  1.  算出剂量的最小阈值及其对应的SSR，此案例剂量最佳阈值为14.5，SSR=19564
  2. 算出年龄的最小阈值及其对应的SSR，此案例年龄最佳阈值为50，SSR=12017
  3. 算出性别的最小阈值及其对应的SSR，性别只有一个阈值，是否为女性（或者是否为男性），SSR=20738 
  4. 找出具有最小SSR的特征，将其作为第一参考对象，其对应阈值为分裂点，建立出一个二叉树

 

 

第二步：延伸回归树

完成第一步的建立后：

  1. 如果年龄小于阈值的观测点小于规定的分裂数量，则不再分裂，子节点变为叶子，记录其预测值。
  2. 如果年龄小于阈值的观测点大于规定的分裂数量，则用符合要求的数据集重复第一步，子节点将为某个特征（此案例为Dosage，之后为Sex），直到需要分裂的数据数量小于规定的分类数量。

过拟合问题

产生过拟合的原因有两个方面：

样本问题

  1. 样本里的噪音数据干扰过大，使模型记住了噪音特征，从而忽略了真实输入和输出的关系
  2. 样本数量太少
  3. 抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点等等，导致抽出的样本数据不能有效足够代表业务逻辑或业务场景；
  4. 建模时使用了样本中太多无关的输入变量。

生成的树有问题

  1. 没有合理的限制树的生成或者对树进行修剪

先剪枝

先设定要求，如果再建立过程中符合要求，则停止生长，节点变为叶子

  1. 定义一个高度，当决策树达到该高度时就可以停止决策树的生长
  2. 对特征进行范围定义，如果分裂时阈值冲破了这个范围，则停止生长
  3. 对观测点数量进行定义，如果考虑范围内的观测点少于定义的观测数量，则停止生长
  4. 对信息增益进行定义，比较增益值与该阈值的大小来决定是否停止决策树的生长
    1. 表示的是，知道了某个条件后，原来事件不确定性降低的幅度，降低幅度越大越好
    2. 计算方式为：熵-条件熵
    3. 熵：描述事件的不确定性，记作 H(X)
    4. 条件熵：衡量的是在某个条件 X 下，事件 Y 的不确定性，记作 H(Y|X) 

优点

  1. 算法相对简单， 效率很高， 适合解决大规模问题。

缺点

  1. 精确地估计何时停止树的增长是相当困难的
  2. 预剪枝基于’贪心’本质，也就是能多剪枝就多剪枝，使得预剪枝策略给决策树带来了欠拟合的风险。

后剪枝

首先构造完整的决策树，允许树过度拟合训练数据，然后对那些置信度不够的结点子树用叶子结点来代替，该叶子的类标号用该结点子树中最频繁的类标记。

Reduced-Error Pruning(REP,错误率降低剪枝）    

  1. 可用的数据被分成两个样例集合：一个训练集用来形成学习到的决策树，一个分离的验证集用来评估这个决策树在后续数据上的精度
  2. 其算法步骤为：
    1. 删除以此结点为根的子树
    2. 使其成为叶子结点
    3. 赋予该结点关联的训练数据的最常见分类
    4. 当修剪后的树对于验证集合的性能不会比原来的树差时，才真正删除该结点

Pesimistic-Error Pruning(PEP,悲观错误剪枝)

根据剪枝前后的错误率来判定子树的修剪

Cost-Complexity Pruning(CCP，代价复杂度剪枝)

Error-Based Pruning（EBP，基于错误的剪枝）

优点

  1. 通常比预剪枝决策树保留了更多的分支。
  2. 一般情况下，后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝决策树

缺点

  1. 后剪枝过程是在生成完全决策树后进行的，并且要自下往上地对树中的非叶子节点逐一进行考察计算，因此训练时间的开销比为剪枝和预剪枝决策树都要大得多。

参考资料

【StatQuest 】清楚地解释回归树！！！Regression Trees, Clearly Explained!!!_哔哩哔哩_bilibili

本文中图片皆来自此视频

ella_2023
关注
专栏目录
决策树-回归树-sklearn
07-18
决策树-回归树-sklearn
CART回归树
weixin_43461341的博客
10-23 1626
本文链接：https://blog.csdn.net/Albert201605/article/details/81865261 核心：划分点选择 + 输出值确定。 一、概述 决策树是一种基本的分类与回归方法，本文叙述的是回归部分。回归决策树主要指CART(classification and regression tree)算法，内部结点特征的取值为“是”和“否”， 为二叉树结构。 所谓回归，就...
决策树回归（概念+实例）
weixin_47151388的博客
04-29 6915
决策树回归（Decision Tree Regression）是一种常用的机器学习算法，用于预测连续型变量的取值。它基于树结构来对数据进行建模和预测，通过将数据集划分为不同的区域，并在每个区域内预测一个常数值来实现回归任务。在本文中，我将详细介绍决策树回归的原理、构建过程、优缺点以及应用场景。
回归决策树的介绍
Despicable_Me的博客
05-27 3501
回归决策树（Regression Decision Tree）是一种决策树算法，用于解决回归问题。与传统的分类决策树不同，回归决策树的目标是预测连续数值型的输出，而不是离散的类别标签。数据集准备：首先，需要准备训练数据集，包括输入特征和对应的输出值。每个样本都有一组特征值和一个连续数值型的输出。特征选择：选择最佳的特征来划分数据集。常用的划分准则包括平方误差（Mean Squared Error, MSE）和平均绝对误差（Mean Absolute Error, MAE）等。
【机器学习】回归决策树
风口IT猪的成长录
07-16 1万+
回归决策树1. 原理概述2. 算法描述3. 简单实例3.1 实例计算过程3.2 回归决策树和线性回归对比4. 小结 1. 原理概述 上篇文章已经讲到，关于数据类型，我们主要可以把其分为两类，连续型数据和离散型数据。在面对不同数据时，决策树也 可以分为两大类型： 分类决策树和回归决策树。 前者主要用于处理离散型数据，后者主要用于处理连续型数据。 不管是回归决策树还是分类决策树，都会存在两个核心问题： 如何选择划分点？ 如何决定叶节点的输出值？ ⼀个回归树对应着输入空间（即特征空间）的⼀个划分以及在划分单元
机器学习 | 决策树之回归树
RichardsZ_的博客
05-24 7254
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、回归树的构建方法二、递归二分法总结 前言 决策树不仅可以进行分类，也可以进行回归。与线性回归不同，回归树是将空间进行划分，每个空间对应一个标签。 一、回归树的构建方法 当面对一个回归问题时，特征向量为:X=[x1x2x3x4...xj]X =\begin{bmatri
决策树-id3算法.rar
05-22
决策树是一种常用的数据挖掘和机器学习算法，它通过构建一种树形结构来进行分类或回归分析。在本资料中，我们重点关注的是ID3（Iterative Dichotomiser 3）算法，这是决策树方法的一个早期代表，由Ross Quinlan于...
第八章-决策树-id3算法
05-22
决策树是一种常见的机器学习算法，它被广泛应用于分类和回归任务中。ID3（Iterative Dichotomiser 3）算法是一种经典的决策树学习算法之一，用于构建决策树模型。下面是关于第八章-决策树-ID3算法的一些说明： 决策...
决策树-机器学习 -C语言期末课设
10-26
决策树是一种广泛应用于机器学习领域的算法，特别是在分类和回归问题中。它通过构建一棵树状模型来模拟决策过程，使得数据可以根据特征值沿着树的分支进行划分，最终达到预测目标的结果。在这个C语言期末课设中，你...
人工智能-回归决策树模型可视化
最新发布
07-11
人工智能 人工智能_回归决策树模型可视化
【机器学习】决策树如何实现回归
Danger的博客
05-05 1922
【机器学习】决策树如何实现回归
深入理解机器学习——基于决策树（Decision Tree）的模型：分类树和回归树
热门推荐
冯·诺依曼
09-17 31万+
决策树（Decision Tree）是一种基本的分类与回归方法。本文会讨论决策树中的分类树与回归树，后续文章会继续讨论决策树的Boosting和Bagging的相关方法。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点，其中内部结点表示一个特征或属性，叶结点表示一个类。 分类树 分类树是一种描述对实例进行分类的树形结构。 用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测...
决策树回归
weixin_40809507的博客
12-16 4027
决策树回归 决策树 基本算法原理 核心思想：相似的输入必会产生相似的输出。例如预测某人薪资： 年龄：1-青年，2-中年，3-老年 学历：1-本科，2-硕士，3-博士 经历：1-出道，2-一般，3-老手，4-骨灰 性别：1-男性，2-女性 年龄 学历 经历 性别 ==> 薪资 1 1 1 1 ==> 6000（低） 2 1 3 1 ==> 10000（中） 3 3 4 1 ==> 50000（高） … … … … ==> … 1 3 2 2 ==&
将决策树用于回归
芳樽里的歌的博客
07-12 2399
如何利用决策树进行回归
机器学习之分类决策树与回归决策树—基于python实现
qq_45856698的博客
05-02 3865
介绍分类决策树与回归决策树案例
机器学习（五）—— 决策树回归模型和集合算法
weixin_49429431的博客
03-16 8764
决策树回归模型和集合算法 1. 决策树概述 决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率 ——百度百科 决策树就是我们通常所说的多叉树 决策树回归模型的核心思想：相似的输入必会产生相似的输出 决策树每层对应一个样本特征 使用树结构，对于海量数据可以提高检索效率 2. 构建决策树回归模型的基本思想 构建决策树的基本步骤： a、从训练样本矩阵中选择第一个特征进行子表划分，是每个字表中的该特征的值全部相同； b、在每一个字表中
决策树 – 回归
sakura_saku的博客
05-04 1413
决策树 – 回归 解决问题 实现基于特征范围的树状遍历的回归。 解决方案 通过寻找样本中最佳的特征以及特征值作为最佳分割点，构建一棵二叉树。选择最佳特征以及特征值的原理就是通过满足函数最小。其实选择的过程本质是对于训练样本的区间的分割，基于区间计算均值，最终区域的样本均值即为预测值。 在预测的时候，将会根据提供的样本的特征，来遍历二叉树（确定区域的过程），其中叶子节点的值就是预测值。 构建回归决策树，过程，其实可以理解对训练样本进行监督式聚类，每个分类都是有一组特征逻辑范围做描述；预测的时候，其实就是在匹配
传统机器学习笔记6——回归树模型
chase
10-27 2847
传统机器学习笔记6——回归树模型
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值