Python从0到100（五十三）：决策树及决策树分类器

决策树是⼀种常⽤的监督学习算法，⽤于解决分类和回归问题。它的基本原理是根据数据的特征来构建⼀颗树状结
构，树的每个节点代表⼀个特征，每个分⽀代表⼀个特征的取值，叶节点代表输出类别或数值。 决策树的⽬标是通过分裂特征，将数据集划分为纯度更⾼的⼦集，以最⼩化误差或不纯度。

1.基本原理

决策树的基本原理是根据⼀系列的规则来做出决策。这些规则是通过对输⼊特征进⾏分裂来确定的，每次分裂都会将数据集划分为更加纯净的⼦集。决策树的构建过程通常分为以下⼏个步骤：

1. 选择⼀个⽤于分裂的特征，通常是根据某种度量标准（如信息增益、基尼不纯度等）来选择的，以确保分裂后⼦集的纯度更⾼。
2. 根据选定的特征和分裂点将数据集划分为⼦集。
3. 递归地应⽤步骤1和步骤2，直到满⾜停⽌条件（如树的深度达到预定值、⼦集的⼤⼩⼩于某个阈值等）。
4. 在叶节点上分配⼀个输出标签（分类问题）或数值（回归问题），通常是该叶节点中样本的多数类别或均值。

2.公式模型

决策树并不涉及像线性回归或逻辑回归那样的具体数学公式，⽽是通过树的结构来进⾏决策。然⽽，有⼀些⽤于分裂特征的评估标准，其中最常⻅的是基尼不纯度和信息增益。这些标准⽤于选择最佳的分裂点，从⽽构建更好的决策树。
1、基尼不纯度（Gini Impurity）： ⽤于分类问题，表示从数据集中随机选择⼀个样本，该样本被误分类的概率。基尼不纯度越低，表示数据集的纯度越⾼。它的数学公式为：

其中， C是类别数量，pi是每个类别的概率。

2、信息增益（Information Gain）： 也⽤于分类问题，表示在某个特征上进⾏分裂后，熵减少的程度，即数据集的不确定性减少的程度。信息增益越⾼，表示特征分裂后数据更加纯净。
它的数学公式为：

其中，D是原始数据集，A是要分裂的特征，Dv是特征 的⼀个取值 对应的⼦集，Entropy是数据集
的熵。
决策树的训练过程旨在最⼤化信息增益或最⼩化基尼不纯度，以选择最佳的分裂点。⼀旦构建好了决策树，就可以使⽤它来进⾏分类或回归预测。决策树易于理解和可视化，但在某些情况下可能容易过拟合数据，因此通常需要通过剪枝等技术来提⾼泛化性能。

3.优缺点

优点：

1. 简单直观：决策树易于理解和解释，不需要复杂的数学知识。
2. 适⽤于⾮线性数据：决策树能够处理⾮线性关系，对数据的分布和特征之间的关系没有严格要求。
3. 能够处理混合类型特征：决策树能够处理同时包含数值型和类别型特征的数据。

缺点：

1. 容易过拟合：决策树容易过拟合训练数据，特别是对于⾼维数据集。
2. 对噪声敏感：决策树对噪声和异常值⽐较敏感，可能导致不稳定的模型。
3. 难以处理缺失值：决策树在处理缺失值时可能会出现问题，需要进⾏额外的处理。

4.适用场景

决策树适⽤于以下场景：

1. 数据集包含混合类型的特征（数值型和类别型）。
2. 需要建⽴⼀个可解释性强的模型，便于理解和解释模型的决策过程。
3. 数据集的特征之间存在⾮线性关系或交互作⽤。

决策树是⼀种简单⽽强⼤的分类和回归算法，尤其适⽤于处理⾮线性数据和需要可解释性的情况。然⽽，在处理⾼维数据和噪声较多的情况下，可能需要采⽤⼀些改进的决策树算法或集成⽅法来提⾼模型的性能。

5.构建决策树分类器

⾸先加载了鸢尾花数据集，并划分了训练集和测试集。然后我们构建了⼀个决策树分类器，并在测试集上进⾏了预测。最后，我们计算了模型的准确率，并绘制了决策树的结构图。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier,plot_tree
from sklearn.metrics import accuracy_score
# 加载鸢尾花数据集
iris = load_iris()
X = iris.data
y = iris.target
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 构建决策树模型
dt = DecisionTreeClassifier()
dt.fit(X_train, y_train)
# 在测试集上进⾏预测
y_pred = dt.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)
# 绘制决策树
plt.figure(figsize=(12, 8))
plot_tree(dt, filled=True, feature_names=iris.feature_names, class_names=iris.target_names)
plt.show()