决策树入门指南

决策树入门指南

决策树是一种常用的机器学习算法，适用于分类和回归任务。它的目标是创建一个模型，该模型通过学习从数据特征中推导出的简单决策规则来预测目标变量的值。

1. 概念

决策树模型呈树形结构，在这种结构中，内部节点代表数据的一个属性或特征，每条边代表一个决策规则，而每个叶节点代表最终的输出结果（决策结果或分类）。决策树的主要优点是模型具有很好的可解释性，你可以很容易地理解模型的决策路径。

2. 算法

ID3 (Iterative Dichotomiser 3)

原理

ID3算法的核心是选择使信息增益（Information Gain，IG）最大的属性作为决策节点。信息增益计算公式为：

$\mathrm{IG}(S,A)=H(S)-{\sum }_{v\in \mathrm{Values}(A)}\frac{|S_v|}{|S|}H(S_v)$

其中：

• $H(S)$是集合S的熵，计算公式为：

  $H(S)=-{\sum }_{x\in \text{Classes}}p(x){\log }_{2}p(x)$

• $S_v$是当属性A等于值v时的子集；

• $\left|S\right|$ 是样本总数；

• $|S_v|$ 是在属性A的值为v的样本数；

• $\mathrm{Values}(A)$是属性A的所有可能值的集合。

C4.5

C4.5算法改进了ID3，引入了信息增益比（Gain Ratio，GR），以解决ID3偏向于选择具有更多值的属性的问题。信息增益比计算公式为：

$\mathrm{GR}(S,A)=\frac{\mathrm{IG}(S,A)}{\mathrm{SplitInfo}(A)}$

其中：

$\text{SplitInfo}(A)$是属性A的分裂信息，

计算公式为：$\overline{\text{SplitInfo}(A)}=-{\sum }_{v\in \mathrm{Values}(A)}\frac{|S_v|}{|S|}{\log }_2\frac{|S_v|}{|S|}$

基尼指数（Gini Index）

基尼指数是用来量化数据集的纯净度的一个指标，通常用于CART（分类与回归树）算法中。基尼指数越低，数据集的纯度越高，意味着数据越有可能属于同一类。

计算公式

基尼指数的计算公式为：$\mathrm{Gini}(S)=1-{\sum }_{i=1}^n{p}_i^2$

其中 $p_i$是选择分类i的概率，n是分类的数量。

对于选择最佳分割，我们计算在特定属性分割后的加权基尼指数： $Gini\_index(S,A)={\sum }_{v\in \mathrm{Values}(A)}\frac{|S_v|}{|S|}\mathrm{Gini}(S_v)$

例题

假设有以下数据集，包括四个样本，用于预测是否会打篮球（是或否）。

天气	温度	打篮球
晴朗	热	否
阴天	温暖	是
阴天	凉爽	是
晴朗	温暖	否

任务：使用ID3算法找出最佳分裂属性。

计算

首先计算整体熵 𝐻(𝑆)H(S)：

• $P(\text{是})=\frac{2}{4}=0.5$
• $P(\text{否})=\frac{2}{4}=0.5$
• $H(S)=-(0.5{\log }_{2}0.5+0.5{\log }_{2}0.5)=1.0$

计算每个属性的信息增益：

1. 天气

   • $|S_{\text{晴朗}}|=2,|S_{\text{阴天}}|=2$

     $H(S_{\text{晴朗}})=1.0$ (因为晴朗时是1否1是)

     $H(S_{\text{阴天}})=0$ (因为阴天都是是)

     IG$(S$,天气$)=1.0-\left(\frac{2}{4}\cdot 1.0+\frac{2}{4}\cdot 0\right)=0.5$

2. 温度

   • 计算类似…

最终选择信息增益最高的属性作为决策节点。在这个例子中，假设“天气”属性有最高的信息增益，因此它被选择为分裂节点。

3. Python实例

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as plt

# 加载Iris数据集
data = load_iris()
X = data.data
y = data.target

# 创建决策树分类器，使用基尼指数作为分裂标准
clf = DecisionTreeClassifier(criterion='gini')
clf.fit(X, y)

# 可视化决策树
plt.figure(figsize=(20,10))
a = plot_tree(clf, 
              feature_names=data.feature_names, 
              class_names=data.target_names, 
              filled=True, 
              rounded=True, 
              fontsize=14)
plt.show()

结果图