CART—最小二乘回归树Python实现

最新推荐文章于 2024-06-24 17:44:15 发布
最新推荐文章于 2024-06-24 17:44:15 发布
阅读量3.8k 收藏 10
点赞数 3
分类专栏： 机器学习/统计学习方法 文章标签： CART Python 回归树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxiao_wen/article/details/54098015
版权
这篇博客介绍了如何使用Python实现CART（最小二乘回归树）算法。通过遍历寻找最佳切分点来最小化平方损失函数，构建二叉决策树。文中以输入数据x和对应目标值y为例，展示了CART算法的具体应用。
摘要由CSDN通过智能技术生成

CART—最小二乘回归树Python实现

关于CART算法可以参考李航的《统计学习方法》这里不详细叙述，核心思想就是遍历寻找最优切分点来最小化平方损失函数，构建二叉决策树，这里采用递归算法。

假设输入数据为

x     0            1          2         3         4         5         6         7         8         9

y    4,5       4.75      4.91    5.34    5.80    7.05    7.90    8.23    8.70      9.00

最低0.47元/天 解锁文章
xiaoxiao_wen
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
最小二乘回归树 属性选择比率 gbdt基分类器 java
ysh126的专栏
11-10 1014
/**  * 最小二乘回归树      缺失属性还没想好怎么处理好  * @author ysh  1208706282  *  */ public class Cart {     static double MISSINGDATA = -111111111;     int mMaxDepth;              //设定的最大深度     int mMinLeaf; 
python实现最小二乘法的线性回归_python最小二乘法线性拟合实现代码
weixin_39933713的博客
12-03 933
python实现最小二乘法线性拟合本文python代码实现的是最小二乘法线性拟合，并且包含自己造的轮子与别人造的轮子的结果比较。问题：对直线附近的带有噪声的数据进行线性拟合，最终求出w,b的估计值。最小二乘法基本思想是使得样本方差最小。代码中self_func()函数为自定义拟合函数，skl_func()为调用scikit-learn中线性模块的函数。import numpy as npimpor...
偏最小二乘回归方法 python代码
12-27
包含python实现偏最小二乘回归的源代码，同时文件中还有所需数据格式
Java程序员学算法(1) - 最小二乘回归树(Least Squares Regression Tree)
supermig的专栏
08-13 1211
在算法如此时髦的当前，作为一名工程方面的Java程序员，同时也是算法小白，有着追赶时髦的好奇心，尝试着向算法的大门张望一下，因此，在此写一下在门缝中看到的东西。先从能看懂的CART的最小二乘回归树开始，并使用擅长的Java来实现。 首先，进入名词解释，CART（ClassificationAndRegressionTree）和最小二乘法，它们的具体解释还请自己...
PYTHON机器学习实战——树回归_python regtrees库
最新发布
2301_82242410的博客
06-24 846
if (shape(mat0)[0] < tolN) or (shape(mat1)[0] < tolN): continue #样本数量 小于设定值，则不切分。if (shape(mat0)[0] < tolN) or (shape(mat1)[0] < tolN): #样本数量 小于设定值，则不切分。if len(set(dataSet[:,-1].T.tolist()[0])) == 1: # 特征剩余数量为1 则返回。
最小二乘回归树Python实现
日渐学习
06-13 2611
最小二乘回归树生成基本原理及Python实现
机器学习概念总结笔记（一）——机器学习算法分类、最小二乘回归、岭回归、LASSO回归
abele280的博客
06-19 2256
原文：https://cloud.tencent.com/community/article/137341 机器学习概念总结 1，机器学习算法分类 1）监督学习： 有train set，train set里面y的取值已知。 2）无监督学习：有train set, train set里面y的取值未知。 3）半监督学习：有train set， train set里面y的取值有些知道有些不知道。 4）增强学习：reinforcement learning， 无train set。 2，常见算法
数学建模教学：常用算法 --- CART-分类回归树算法
dc_sinor的博客
06-09 1238
本人计算机研二，专业带队数学建模，长期更新建模教学，有需要的同学欢迎讨论～本篇文章，本系列学长讲解一部分数学建模常用算法，会陆续更新每个算法的详细实现和使用教程分类与回归树，是二叉树，可以用于分类，也可以用于回归问题，最先由 Breiman 等提出。分类树的输出是样本的类别， 回归树的输出是一个实数。决策树生成和剪枝。递归地构建二叉决策树的过程，基于训练数据集生成决策树，生成的决策树要尽量大；自上而下从根开始建立节点，在每个节点处要选择一个最好的属性来分裂，使得子节点中的训练集尽量的纯。不同的算法使用不同的
决策树之CART算法原理及python实现
热门推荐
三石
05-30 3万+
机器学习，决策树，CART，python实现
python数据分析实战-决策树算法的分类与回归
qq_44822062的博客
09-01 701
CART、ID3和C4.5算法决策树算法ID3和C4.5实现鸾尾花分类预测ID3和C4.5算法原理简单介绍实现对鸾尾花数据的分类预测CART算法实现鸾尾花分类预测和波士顿房价回归预测CART算法原理简单介绍CART算法做分类预测CART算法做回归预测 决策树算法 ID3和C4.5实现鸾尾花分类预测 ID3和C4.5算法原理简单介绍 1、这两个算法差别不是特别大，一个是用信息增益来判断，一个是用信息增益率来判断，在sklearn库中指定 criterion=“entropy” 即可，只是准确度不一样。 2、
Python中实现最小二乘法思路及实现代码
09-20
主要介绍了Python中实现最小二乘法思路及实现代码，具有一定借鉴价值,需要的朋友可以参考下
回 归 树
weixin_46528566的博客
02-24 1123
小记 因为最近学习了一些关于XGBoost的知识，所以想要把关于树形算法总结学习一下，当初初入机器学习的时候学完分类决策树后就结束了树形算法的学习，接下来几节就是对自己最近学习的树形算法的记录和总结，方便自己回顾。主要学习参考了Microstrong和李航老师的统计学习方法 在初入机器学习的时候，学习了分类决策树，在之前的博客中也写过，用id3算法实现，在这里又继续学习了回归决策树。其二者的区别就是： 分类决策树用于处理离散性数据，而回归决策树处理连续性数据。* CART分类树是一种二分递归分割的技术，.
最小二乘回归树Golang多线程实现
日渐学习
07-04 868
用golang实现了一个多线程的回归树
最小二乘回归树生成算法
FeynmanWang的博客
07-26 7602
算法：\qquad 输入：训练数据集 DD； \qquad 输出：回归树 f(x)f(x) . \qquad 在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树： \qquad (1) 选择最优切分变量 jj 与切分点 ss，求解minj,s⎡⎣minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)
机器学习学习笔记（20）----CART回归树
swordmanwk的专栏
12-13 819
上篇文章介绍了CART分类树的实现，CART分类树对于特征值是连续的场景是适用的，但是对于类标记是连续值的场景就不适用了，这时需要采用CART回归树。对于回归算法我们并不陌生，在决策树之前的算法我们学习的所有机器学习的算法都是回归类的算法。我们假设CART回归树的损失函数是： (1) 是预测结果，是类标记的样本值。等式两边对求偏导，得到： (2) 令，这时得到的最小值，可得： (3) 可以看出就是的平均值，所以可以写成： (4) 那么对于CART回归树，进行阈值切分的标准...
机器学习经典算法之--最小二乘法
繁小华的专栏
09-26 6637
先看下百度百科的介绍：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。    通过这段描述可以看出来，最小二乘法也是一种优化方法，求得目标函数的最优值。并且也可
cart回归树算法过程
weixin_30570101的博客
07-16 171
回归树：使用平方误差最小准则 训练集为：D={(x1,y1), (x2,y2), …, (xn,yn)}。 输出Y为连续变量，将输入划分为M个区域，分别为R1,R2,…,RM,每个区域的输出值分别为：c1,c2,…,cm则回归树模型可表示为： 则平方误差为： 假如使用特征j的取值s来将输入空间划分为两个区域，分别为： 我们需要最小化损失函数，即： 　　其中c1,c2分别...
回归问题的提升树(boosting tree)算法
FeynmanWang的博客
07-28 3075
算法：\qquad 输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)},xi∈Rn,yi∈R;T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},x_i\in\Bbb R^n,y_i\in\Bbb R; \qquad 输出：提升树 fM(x)f_M(x) . \qquad (1) 初始化 f0(x)=0f_0(x)=0 \qquad
python cart树_CART回归树python实现
05-13
下面是一个简单的 Python 实现 CART 回归树的例子： ```python import numpy as np class CARTRegressionTree: def __init__(self, max_depth=5, min_samples_split=2, min_samples_leaf=1): self.max_depth = max_depth self.min_samples_split = min_samples_split self.min_samples_leaf = min_samples_leaf def fit(self, X, y): self.n_features_ = X.shape[1] self.tree_ = self._build_tree(X, y, depth=0) def predict(self, X): return np.array([self._predict(inputs) for inputs in X]) def _build_tree(self, X, y, depth): n_samples, n_features = X.shape if depth >= self.max_depth or n_samples < self.min_samples_split: return self._make_leaf_node(y) best_feature, best_threshold = self._find_split(X, y, n_samples, n_features) if best_feature is None: return self._make_leaf_node(y) left_indices = X[:, best_feature] < best_threshold right_indices = ~left_indices left_tree = self._build_tree(X[left_indices], y[left_indices], depth+1) right_tree = self._build_tree(X[right_indices], y[right_indices], depth+1) return self._make_decision_node(best_feature, best_threshold, left_tree, right_tree) def _find_split(self, X, y, n_samples, n_features): best_feature, best_threshold, best_mse = None, None, np.inf for feature in range(n_features): thresholds = np.unique(X[:, feature]) for threshold in thresholds: left_indices = X[:, feature] < threshold right_indices = ~left_indices if sum(left_indices) >= self.min_samples_leaf and sum(right_indices) >= self.min_samples_leaf: left_mse = self._mean_squared_error(y[left_indices]) right_mse = self._mean_squared_error(y[right_indices]) mse = left_mse + right_mse if mse < best_mse: best_feature, best_threshold, best_mse = feature, threshold, mse return best_feature, best_threshold def _mean_squared_error(self, y): return np.mean((y - np.mean(y))**2) def _make_decision_node(self, feature, threshold, left_tree, right_tree): return {'feature': feature, 'threshold': threshold, 'left_tree': left_tree, 'right_tree': right_tree} def _make_leaf_node(self, y): return {'leaf': np.mean(y)} def _predict(self, inputs): node = self.tree_ while isinstance(node, dict): if inputs[node['feature']] < node['threshold']: node = node['left_tree'] else: node = node['right_tree'] return node['leaf'] ``` 在上面的代码中，`CARTRegressionTree` 类实现了 CART 回归树的训练和预测方法。其中，`max_depth`、`min_samples_split` 和 `min_samples_leaf` 是可调参数，分别控制树的最大深度、节点分裂所需的最小样本数和叶节点所需的最小样本数。`fit` 方法用于训练模型，`predict` 方法用于预测新样本。 在 `_build_tree` 方法中，我们递归地构建决策树。如果当前节点样本数少于 `min_samples_split` 或者树的深度达到了 `max_depth`，则返回当前节点的平均值作为叶节点。否则，我们尝试在所有特征和阈值的组合中找到一个最优的分裂点，使得分裂后的左右子树的均方误差之和最小。如果无法找到合适的分裂点，则返回当前节点的平均值作为叶节点。 在 `_find_split` 方法中，我们遍历所有特征和阈值的组合，计算分裂后的左右子树的均方误差之和。如果左右子树的样本数都大于等于 `min_samples_leaf`，则更新最优的分裂点。 在 `_make_decision_node` 和 `_make_leaf_node` 方法中，我们分别创建决策节点和叶节点。 在 `_predict` 方法中，我们遍历决策树，根据当前节点的特征和阈值判断向左还是向右走，直到到达叶节点，返回叶节点的平均值作为预测值。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值