Decision Tree 及实现

最新推荐文章于 2025-03-29 10:43:02 发布

Rachel-Zhang

最新推荐文章于 2025-03-29 10:43:02 发布

阅读量3.1w

点赞数 10

本文链接：https://blog.csdn.net/abcjennifer/article/details/20905311

版权

这篇博客通过Python逐步实现决策树算法，主要包括数据集加载、熵计算、根据信息增益选择最佳分割特征、递归构建决策树及样本分类。以UCI经典数据集Iris为例，详细解释了每个步骤，并提供了完整的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文基于python逐步实现Decision Tree(决策树)，分为以下几个步骤：

加载数据集
熵的计算
根据最佳分割feature进行数据分割
根据最大信息增益选择最佳分割feature
递归构建决策树
样本分类

关于决策树的理论方面本文几乎不讲，详情请google keywords:“决策树信息增益熵”

将分别体现于代码。

本文只建一个.py文件，所有代码都在这个py里

1.加载数据集

我们选用UCI经典Iris为例

Brief of IRIS:

Data Set Characteristics:	Multivariate	Number of Instances:	150	Area:	Life
Attribute Characteristics:	Real	Number of Attributes:	4	Date Donated	1988-07-01
Associated Tasks:	Classification	Missing Values?	No	Number of Web Hits:	533125

Code：

from numpy import *
#load "iris.data" to workspace
traindata = loadtxt("D:\ZJU_Projects\machine learning\ML_Action\Dataset\Iris.data",delimiter = ',',usecols = (0,1,2,3),dtype = float)
trainlabel = loadtxt("D:\ZJU_Projects\machine learning\ML_Action\Dataset\Iris.data",delimiter = ',',usecols = (range(4,5)),dtype = str)
feaname = ["#0","#1","#2","#3"] # fea