决策树算法实现

最新推荐文章于 2024-08-04 21:08:26 发布

qiu_zhi_liao

最新推荐文章于 2024-08-04 21:08:26 发布

阅读量301

点赞数

分类专栏： DM python 文章标签： DM BG

本文链接：https://blog.csdn.net/qiu_zhi_liao/article/details/89678822

版权

本文介绍了CART决策树和回归树的原理与应用，包括CART分类树的创建、CART回归树的训练以及CART决策树的剪枝。通过Python的sklearn库展示了CART算法在iris数据集和波士顿房价数据集上的实践，强调了CART在分类和回归任务中的差异，并探讨了剪枝方法改善过拟合的问题。

摘要由CSDN通过智能技术生成

在这里插入图片描述
ID3，c4.5只用于做分类，得到的结果是连续值；
cart既可以做分类，也可以做回归，得到的结果是连续值。

CART 分类树

在 Python 的 sklearn 中默认采用的是 CART 分类树。
下面，我们来用 CART 分类树，给 iris 数据集构造一棵分类决策树。在 Python 的 sklearn 中，如果我们想要创建 CART 分类树，可以直接使用 DecisionTreeClassifier 这个类。创建这个类的时候，默认情况下 criterion 这个参数等于 gini，也就是按照基尼系数来选择属性划分，即默认采用的是 CART 分类树。

# encoding=utf-8
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
# 准备数据集
iris=load_iris()
# 获取特征集和分类标识
features = iris.data
labels = iris.target
# 随机抽取 33% 的数据作为测试集，其余为训练集
train_features, test_features, train_labels, test_labels = train_test_split(features, labels, test_size=0.33, rand