决策树简单介绍及实践

Delairs

于 2024-04-30 15:55:32 发布

阅读量716

点赞数 16

文章标签：决策树算法机器学习

本文链接：https://blog.csdn.net/Delairs/article/details/138345133

版权

在机器学习领域，决策树是一种简单却强大的算法，它通过模仿人类决策过程来解决分类和回归问题。决策树不仅易于理解和实现，而且对于数据的可视化和解释性分析也非常有帮助。

决策树基础

定义

决策树是一种直观的模型，通过树状结构表示决策过程。每个内部节点代表一个特征上的判断，每个分支代表一个判断结果的输出，每个叶节点代表最终决策结果。

构建过程

选择最佳特征：使用诸如信息增益、基尼不纯度或均方误差等标准来选择最佳分割特征。
分割数据集：根据所选特征的不同结果，将数据集分割成多个子集。
递归构建子树：对每个子集重复步骤1和2，直到所有数据点都属于同一个类别，或达到预设的树深度。

算法实现

1. ID3 (Iterative Dichotomiser 3)

特点：

ID3算法使用信息增益作为标准来选择最佳分割特征。
它是一种贪心算法，递归地构建树直到所有叶子都是纯净的或者没有更多的特征可以分割。
ID3只能处理离散特征，对于连续特征需要进行离散化处理。

信息增益计算公式：信息增益表示的是特征对于数据集分类结果的贡献大小，计算公式如下： $IG(S, A) = Entropy(S) - \sum_{v \in values(A)} \frac{|S_v|}{|S|} Entropy(S_v)$

其中：

𝑆是数据集。
𝐴是特征。
𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆)是数据集 𝑆的熵，计算公式为： $Entropy(S) = - \sum_{i=1}^{n} p_i \log_2 p_i$ 其中 𝑝𝑖是数据集中第 𝑖i 个类别的概率。
𝑆𝑣是在特征 𝐴上取特定值 𝑣的数据子集。
∣𝑆𝑣∣是 𝑆𝑣的大小。
∣𝑆∣ 是原始数据集 𝑆的大小。

2. C4.5

特点：

C4.5是ID3的改进版本，解决了ID3的一些局限性。
C4.5使用信息增益率来选择特征，这有助于减少选择那些具有大量值的特征的倾向。
它可以处理连续和离散特征，并且可以生成规则集。
C4.5还引入了树的后剪枝技术来避免过拟合。

信息增益率计算公式：

$Gain\_ratio(S, A) = \frac{IG(S, A)}{IV(A)}$

其中：

𝐼𝐺(𝑆,𝐴)是特征 𝐴在数据集 𝑆上的信息增益。
𝐼𝑉(𝐴)是特征 𝐴的内在值，计算公式为： $IV(A) = - \sum_{v \in values(A)} \frac{|A_v|}{|A|} \log_2 \frac{|A_v|}{|A|}$ 其中 𝐴𝑣 是特征 𝐴上值为 𝑣的数据集大小。

3. CART (Classification and Regression Trees)

特点：

CART既可以用于分类问题，也可以用于回归问题。
在分类问题中，CART使用基尼不纯度作为分割标准；在回归问题中，使用方差作为分割标准。
CART可以处理数值特征而无需离散化。
它生成的是二叉树，即每个内部节点都有且仅有两个子节点。

基尼不纯度计算公式：

$Gini(S) = 1 - \sum_{i=1}^{m} p_i^2$

其中：

𝑆是数据集。
𝑚是数据集中类别的数量。
𝑝𝑖是数据集中第 𝑖个类别的概率。

方差计算公式：对于回归问题，CART使用方差来衡量数据的离散程度： $Variance(S) = \frac{1}{|S|} \sum_{x \in S} (x - \mu)^2$

其中：

𝑆是数据集。
𝑥是数据集中的一个数据点。
𝜇是 𝑆中所有数据点的平均值。

决策树的优缺点

优点

易于理解和解释：决策树的结构清晰，可以直观地展示数据的决策过程。
同时进行数据可视化和特征选择：在构建树的过程中，自动完成特征选择。
适用于各种数据类型：可以处理数值型和类别型数据。

缺点

容易过拟合：特别是在面对复杂数据时，决策树可能会生成过于复杂的模型。
对噪声和异常值敏感：决策树可能会捕捉到数据中的噪声和异常值，导致模型性能下降。
倾向于高方差：决策树模型可能会对训练数据中的小变化非常敏感。

决策树的优化

剪枝

为了避免过拟合，决策树需要进行剪枝。剪枝技术包括：

预剪枝：在生长过程中提前停止树的生长。
后剪枝：先构建完整的树，然后从底部开始剪掉不重要的分支。

集成方法

使用集成学习方法，如随机森林或梯度提升树，可以提高决策树的性能并减少过拟合的风险。

决策树的应用

决策树在多个领域都有广泛的应用，包括但不限于：

金融：信用评分和风险评估。
医疗：疾病诊断和治疗决策。
营销：客户细分和目标市场定位。

决策树构建实践

下面是一个使用Python实现的简单决策树构建示例，它使用了sklearn库中的DecisionTreeClassifier类来构建决策树，并使用ID3算法进行特征选择。对于CART算法，sklearn的决策树实现本身就包含了分类和回归两种情况，因此我们可以通过选择不同的参数来实现。

此外，使用export_graphviz函数可以将决策树导出为DOT格式，然后使用Graphviz工具来可视化决策树。

首先，确保你已经安装了必要的库：

pip install numpy scipy scikit-learn matplotlib graphviz

以下是Python代码示例：

import numpy as np
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import graphviz

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1)

# 使用ID3算法构建决策树
clf_id3 = DecisionTreeClassifier(criterion='entropy', random_state=1)
clf_id3.fit(X_train, y_train)

# 预测测试集
y_pred_id3 = clf_id3.predict(X_test)

# 打印准确率
print(f"Accuracy of ID3 Decision Tree: {accuracy_score(y_test, y_pred_id3):.2f}")

# 可视化ID3决策树
dot_data_id3 = export_graphviz(clf_id3, out_file=None, feature_names=iris.feature_names, class_names=iris.target_names, filled=True, rounded=True, special_characters=True)
graph = graphviz.Source(dot_data_id3)  # 显示图像
graph.save('D:/Users/Desktop/ID3_tree.dot') #保存图像到桌面

# 使用CART算法构建决策树
clf_cart = DecisionTreeClassifier(criterion='gini', random_state=1)
clf_cart.fit(X_train, y_train)

# 预测测试集
y_pred_cart = clf_cart.predict(X_test)

# 打印准确率
print(f"Accuracy of CART Decision Tree: {accuracy_score(y_test, y_pred_cart):.2f}")

# 可视化CART决策树
dot_data_cart = export_graphviz(clf_cart, out_file=None, feature_names=iris.feature_names, class_names=iris.target_names, filled=True, rounded=True, special_characters=True)
graph = graphviz.Source(dot_data_cart)  # 显示图像
graph.save('D:/Users/Desktop/CART_tree.dot') #保存图像到桌面

结语

决策树作为一种强大的机器学习算法，以其直观性和易于实现的特点，在数据科学领域占有一席之地。尽管存在一些局限性，但通过合适的优化和集成方法，决策树可以成为解决复杂问题的有效工具。

Delairs

关注

16
点赞
踩
18

收藏

觉得还不错? 一键收藏
0
评论
决策树简单介绍及实践

决策树是一种直观的模型，通过树状结构表示决策过程。每个内部节点代表一个特征上的判断，每个分支代表一个判断结果的输出，每个叶节点代表最终决策结果。决策树作为一种强大的机器学习算法，以其直观性和易于实现的特点，在数据科学领域占有一席之地。尽管存在一些局限性，但通过合适的优化和集成方法，决策树可以成为解决复杂问题的有效工具。
复制链接

扫一扫