【数模修炼之旅】06 决策树分类模型深度解析（教程+代码）-CSDN博客

本文链接：https://blog.csdn.net/weixin_43345535/article/details/141398501

【数模修炼之旅】06 决策树分类模型深度解析（教程+代码）

接下来 C君将会用至少30个小节来为大家深度解析数模领域常用的算法，大家可以关注这个专栏，持续学习哦，对于大家的能力提高会有极大的帮助。

1 决策树分类模型介绍及应用

这个监督式学习算法通常被用于分类问题。令人惊奇的是，它同时适用于分类变量和连续因变量。在这个算法中，我们将总体分成两个或更多的同类群。这是根据最重要的属性或者自变量来分成尽可能不同的组别。

这个算法是一些高阶算法的基础，比如随机森林、xgboost等算法，是大家需要掌握的基础算法之一。

决策树的结构直观易懂，类似于一棵倒置的树，其中每个内部节点表示一个特征上的条件判断，每个分支表示条件的结果，而每个叶节点表示一个类别或预测值。

1.1 决策树分类模型的基本原理

节点划分：

- 决策树通过递归地选择最能分割数据的特征来划分节点。常用的划分标准包括信息增益、基尼指数和增益比等。
- 信息增益：衡量在某个特征上划分数据后信息的不确定性减少的程度。
- 基尼指数：衡量数据集中不同类别样本的混杂度，基尼指数越低，样本纯度越高。

生成过程：

- 选择最佳特征：从根节点开始，选择一个特征，基于这个特征将数据集分成子集。
- 递归划分：对每个子集继续进行相同的划分过程，直到满足停止条件，如达到最大深度、叶节点样本数过少或信息增益不足。
- 树的剪枝：为了防止过拟合，决策树可以通过剪枝技术去掉一些分支，保留简洁的模型。

预测过程：

- 对于一个新样本，从根节点开始，依据样本的特征值，沿着决策树进行条件判断，直至到达叶节点，叶节点的类别即为预测结果。

1.2 决策树分类模型在数模中的应用

2 决策树分类模型的基本步骤

决策树模型的基本步骤包括数据准备、特征选择、树的生成、剪枝、以及最终的预测。以下是这些步骤的详细讲解：

1. 数据准备

步骤：

收集数据：首先需要收集包含输入特征和目标变量的数据集。输入特征是用于分类或回归的变量，目标变量是要预测的类别或数值。
处理缺失值：如果数据集中存在缺失值，需要通过删除、插值等方法进行处理。
特征编码：对于非数值型特征，如类别型变量，可以使用独热编码（One-Hot Encoding）或标签编码（Label Encoding）将其转换为数值形式。

示例：

假设我们有一个包含“年龄”、“收入”、“已婚”三个特征的数据集，以及一个“是否购买产品”的目标变量。

2. 特征选择

步骤：

选择分裂标准：根据任务需求，选择适当的分裂标准（例如信息增益、基尼指数、增益比）。这个标准用于评估在某个特征上分裂数据后，子集的纯度如何。
计算特征的分裂标准值：针对每个特征，计算其分裂标准值，选择具有最佳分裂标准值的特征进行分裂。

示例：

如果选择信息增益作为标准，计算每个特征的信息增益，选择信息增益最大的特征进行分裂。

3. 树的生成

步骤：

创建根节点：从根节点开始，根据选择的最佳特征进行第一次分裂，将数据集划分为若干子集。
递归分裂：对于每个子集，重复特征选择和分裂的过程，生成新的节点。这个过程递归进行，直到满足停止条件（如达到最大深度、信息增益低于某个阈值、子集的样本数量过少等）。
生成叶节点：当无法再继续分裂时，当前节点被标记为叶节点，叶节点的值为目标变量的类别或回归值。

示例：

假设“收入”是最佳分裂特征，根节点根据“收入”将数据集分为“高收入”和“低收入”两个子集，然后继续对每个子集进行递归分裂。

4. 剪枝（可选）

步骤：

预剪枝：在树生成的过程中，通过设置参数（如最大深度、最小样本数等）来限制树的生长，防止过拟合。
后剪枝：在生成完树之后，对树进行修剪，移除一些分支，以减少模型的复杂度。常见的后剪枝方法包括“最小错误率剪枝”和“成本复杂度剪枝”。

示例：

如果一棵决策树的某个分支只处理了极少数的样本，且对模型预测贡献不大，剪枝可以将这个分支删除，以简化模型。

5. 模型预测

步骤：

样本分类：将新的样本从根节点开始，按照特征条件进行判断，沿着树的分支进行路径选择，直到到达叶节点。叶节点的类别或数值即为预测结果。
评估模型：使用测试数据集评估决策树的性能，可以使用准确率、精度、召回率、F1得分等指标来衡量分类任务的效果，或使用均方误差、R平方等指标来衡量回归任务的效果。

示例：

对于一个新样本“年龄=30岁，收入=高，已婚=是”，根据决策树的结构，从根节点出发，依次判断特征，最后预测该样本的目标变量（如“是否购买产品”）。

3 决策树分类模型代码（matlab+python）

3.1 python

#Import Library#Import other necessary libraries like pandas, numpy...

from sklearn importtree#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

#Create tree objectmodel=tree.DecisionTreeClassifier(criterion='gini')#for classification, here you can change the algorithm as gini or entropy (information gain) by default it is gini

# model = tree.DecisionTreeRegressor() forregression# Train the model using the training sets andcheck score

model.fit(X,y)

model.score(X,y)#Predict

predicted=model.predict(x_test)

R code

library(rpart)

x

# grow tree

fit

#Predict Output

predicted= predict(fit,x_test)

3.2 matlab

% 数据准备
X = [5.1 3.5 1.4 0.2; 4.9 3.0 1.4 0.2; 4.7 3.2 1.3 0.2; 4.6 3.1 1.5 0.2];
Y = [1; 1; 1; 1];

% 训练决策树模型
tree = fitctree(X, Y, 'MaxDepth', 3, 'MinLeafSize', 5);

% 新样本数据
newData = [5.0 3.6 1.4 0.2];

% 进行预测
predictedClass = predict(tree, newData);

% 交叉验证
cvTree = crossval(tree);
cvLoss = kfoldLoss(cvTree);

% 可视化决策树
view(tree, 'Mode', 'graph');

% 显示预测结果和交叉验证误差
disp('预测结果:');
disp(predictedClass);
disp('交叉验证误差:');
disp(cvLoss);

需要参加数模竞赛的同学，可以看我的这个名片，会有最新的助攻哦：（大型比赛前会对名片进行更新）