机器学习手记[13]--CART树回归算法解析

最新推荐文章于 2024-01-05 17:33:14 发布
最新推荐文章于 2024-01-05 17:33:14 发布
阅读量328 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a_31415926/article/details/43514811
版权
本文介绍了CART树回归算法，对比了它与ID3决策树的区别，CART树适用于处理连续值。文章通过数据文本展示了CART树的构建过程，强调了在连续值上的总方差作为纯净度指标，并探讨了剪枝过程，包括预剪枝和后剪枝，以及回归树和模型树的概念。
摘要由CSDN通过智能技术生成

CART树回归算法解析

1 初衷

  1. 我们之前接触的ID3决策树，它特点是将所有的特征转化成标称的值。比如说年龄维度的数据是从1-80的，我们不是将这个特征按照80分进行特征分支而跟可能是按照老中青这种分成几个区间的特征，这个过程也就是将连续值转化成标称值。也就是说ID3决策树处理其实还是离散值，不是连续值。而且怎么处理都是人说了算的，年龄可以那样分，但是其它的数据是不是也是同样分呢？在这个转换过程中，我们是不是流失掉了一些信息，而且如果所有的连续值都化成离散值的话，是不是也不科学呢？
  2. 今天学的这个CART树，则是比较适合连续值的处理。他实际是个二叉树，反复将连续输入的特征值进行二分。

2 数据文本

输入文本格式
输入样本 分类结果
0.409175 1.883180
0.182603 0.063908
0.663687 3.042257
0.517395 2.305004
0.013643 -0.067698
0.469643 1.662809
0.725423 3.275749

3 CART树

  1. CART树和ID3决策树回归是一样的，不同的地方是CART树做的都是二分，而ID3则可以一个节点分出多个分支。

  2. 纯净度依据：经典的CART

最低0.47元/天 解锁文章
虾米ning
关注
专栏目录
[Python从零到壹] 十三.机器学习之聚类算法四万字总结全网首发（K-Means、BIRCH、树状聚类、MeanShift）
杨秀璋的专栏
07-06 1万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
educoder机器学习 --- 线性回归
木右加木 就是木木
11-08 4678
第1关：简单线性回归与多元线性回归 １、ＢＣ ２、ＡＢＣ ３、Ａ 第2关：线性回归的正规方程解 #encoding=utf8 import numpy as np def mse_score(y_predict,y_test): ''' input:y_predict(ndarray):预测值 y_test(ndarray):真实值 ouput:mse(float):mse损失函数值 ''' #********* Begin *********
数学建模教学：常用算法 --- CART-分类回归树算法
dc_sinor的博客
06-09 1247
本人计算机研二，专业带队数学建模，长期更新建模教学，有需要的同学欢迎讨论～本篇文章，本系列学长讲解一部分数学建模常用算法，会陆续更新每个算法的详细实现和使用教程分类与回归树，是二叉树，可以用于分类，也可以用于回归问题，最先由 Breiman 等提出。分类树的输出是样本的类别， 回归树的输出是一个实数。决策树生成和剪枝。递归地构建二叉决策树的过程，基于训练数据集生成决策树，生成的决策树要尽量大；自上而下从根开始建立节点，在每个节点处要选择一个最好的属性来分裂，使得子节点中的训练集尽量的纯。不同的算法使用不同的
树算法系列之一:CART回归树
bitcarmanlee的博客
06-18 1409
0.前言 在深度神经网络崛起之前，基于树类的算法是表现比较优异，非线性性能比较好的一大类算法，深受广大人民群众的喜爱。比如常见的基于树的算法有随机森林(Random Forest)，GBDT， XGboost, LightGBM等。而所有的这些算法，都是基于决策树(Decision Tree)进化而来的。因此了解熟悉决策树是我们学习算法过程中一个必不可少的环节。 决策树可以分为分类树与回归树。回归树一般只能处理连续型数据，而分类树则即可以处理连续型数据又可以处理离散型数据。 1.什么是CART树 CART树
【机器学习】决策树——CART分类回归树（理论+图解+公式）
CSDN 精品推荐
08-26 1万+
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录一、概述二、CART决策树1.分类树1.1 基尼系数1.1 特征离散1.2 特征连续2.回归树三、剪枝算法 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 一、概述 针对于ID3和C4.5只能处理分类的问题，后来有人提出了CART，该模型是由Breima等人在1984年提出的，它是被应用广泛的决策树学习方法，它可以用于分类与回归问.
树回归-CART
weixin_30421525的博客
01-03 188
1、树回归的提出背景 线性回归需要拟合所有的样本（除了局部加权性回归），实际生活中大部分的问题是非线性的。所以需要将数据集进行切分成很多份容易建模的数据，然后利用线性回归的方法进行建模。但是一般一两次的切分仍然不能满足要求，所以就提出了树回归的方法 2、CART(classification and regression trees) 分类回归树 该算法不仅...
数据挖掘十大经典算法--CART: 分类与回归树
热门推荐
小硒---代码无疆
05-02 7万+
一、决策树的类型  在数据挖掘中，决策树主要有两种类型: 分类树 的输出是样本的类标。 回归树 的输出是一个实数 (例如房子的价格，病人呆在医院的时间等)。 术语分类和回归树 (CART) 包含了上述两种决策树, 最先由Breiman 等提出.分类树和回归树有些共同点和不同点—例如处理在何处分裂的问题。 分类回归树(CART,Classification And Regressi
人工智能和机器学习之回归算法：决策树回归：CART算法详解.docx
最新发布
08-29
人工智能和机器学习之回归算法：决策树回归：CART算法详解.docx
机器学习：决策树cart算法在分类与回归的应用（下）-附件资源
03-05
机器学习：决策树cart算法在分类与回归的应用（下）-附件资源
CART 分类和回归树
doswynkfsw的博客
01-08 1014
CART(Classification And Regression Tree): 求最优的数据切分点，首先要对单列特征排一个序，然后依据排序好的特征和标签选择最优的切分点。如果为多特征时，会对特征做一个选择，依据的标准是最小化的下列式子的值，与特征没有关系，仅仅与lable是有关系的。 min⁡j,s[min⁡c1∑xi∈R1(j,s)(yi−c1)2+min⁡c2∑xi∈R2(j,s)(yi−c2)2] \min _{j, s}\left[\min _{c_{1}} \sum_{x_{i} \in R_
1. 分类与回归树原理（CART）
gss123_123的博客
04-28 3201
1. 简介 分类与回归树（Classification And Regression Tree），采用二分递归分割技术，将当前样本集划分成两个子集，即其结构为二叉树，每个内部节点均只有两个分支。左分支为特征值为True的样本集合，右分支为特征取值为False的样本集合。 CART既可以处理连续型特征，也可以处理离散型特征，基于预测值的取值类型不同，可划分成回归树和分类树两种。 预测值为连续型变量，则CART生成回归树。 预测值为离散型变量，则CART生成分类树。 2...
决策树--CART回归树算法详解
bb8886的博客
01-05 1450
CART回归树算法详解+最优划分点选择例题详解
机器学习实践——树回归（CART算法）
SaltedPerson的博客
08-06 1399
背景：线性回归需要拟合所有的数据才能生成模型，但是，当数据拥有众多的特征以及特征之间的关系十分复杂时，这种方法显得太难了。除此之外，实际生活中很多数据都是非线性的，不能使用全局线性模型进行拟合。因此提出树结构与回归法。 CART算法称为分类回归树，意味着可以处理分类问题，也可以用于回归问题。对于给定的训练数据集，如果是分类树，CART采用GINI值衡量节点纯度；如果是回归树，采用样本方差衡量节点...
决策树之CART 算法（回归树，分类树）
Persist_bcl的博客
11-13 4252
CART 算法，英文全称叫做 Classification And Regression Tree，中文叫做分类回归树。 ID3 和 C4.5 算法可以生成二叉树或多叉树，而 CART 只支持二叉树。 同时 CART 决策树比较特殊，既可以作分类树，又可以作回归树。 什么是分类树，什么是回归树呢？ 1.分类树可以处理离散数据，也就是数据种类有限的数据，它输出的是样本的类别，而回归树可以对连续型的数值进行预测，也就是数据在某个区间内都有取值的可能，它输出的是一个数值。 2.决策树的核心就是寻找纯净的
决策树之CART算法
kerwins的机器学习之路
08-04 2万+
顾名思义，CART算法（classification and regression tree）分类和回归算法，是一种应用广泛的决策树学习方法，既然是一种决策树学习方法，必然也满足决策树的几大步骤，即：1特征的选择 2决策树的生成 3 决策树的剪枝 三大步骤，CART算法既可以用于分类还可以用于回归。 CART是在给定输入随机变量X的条件下输出随机变量Y的条件概率分布的学习方法，CART 有个特性...
机器学习实战 决策树 python3实现 R语言实现（2）
weixin_41206770的博客
03-25 570
CART算法实现1.python3本文将构建两种树，一种回归树（regression tree）,其每个节点包含单个值；第二种是模型树（model tree）,其每个叶节点包含一个线性方程。createTree（）伪代码：找到最佳的待切分特征：如果该节点不能再分，将该节点存为叶节点执行二元切分在右子树调用createTree()方法在左子树调用createTree()方法 from numpy i...
机器学习实战笔记：树回归-CART算法
cv_pyer的博客
04-08 1912
前言 在上一章中我们使用了ID3算法来构造树。ID3的做法是每次选取当前最佳的特征来分割数据，并按照该特征的所有可能取值来切分。也就是说，如果一个特征有4种取值，那么数据将被切成4份。一旦按某特征切分后，该特征在之后的算法执行过程中将不会再起作用，所以有观点认为这种切分方式过于迅速。另外一种方法是二元切分法，即每次把数据集切成两份。如果数据的某特征值等于切分所要求的值，那么这些数据就进人树...
机器学习经典算法详解及Python实现--CART分类决策树、回归树和模型树
Adan
12-30 2万+
Classification And Regression Tree(CART)是一种很重要的机器学习算法，既可以用于创建分类树（Classification Tree），也可以用于创建回归树（Regression Tree），本文介绍了CART用于离散标签分类决策和连续特征回归时的原理。决策树创建过程分析了信息混乱度度量Gini指数、连续和离散特征的特殊处理、连续和离散特征共存时函数的特殊处理和后剪枝；用于回归时则介绍了回归树和模型树的原理、适用场景和创建过程。个人认为，回归树和模型树可以被看做“群落分类
简单易学的机器学习算法——分类回归树CART
null的专栏
06-19 3万+
一、树回归的概念 二、
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值