机器学习之决策树

目录

一、决策树的介绍

二、决策树的原理

三、决策树的构建

数据预处理

特征选择

构建决策树

剪枝处理

四、决策树的实例

预测信用卡欺诈

五、总结

---

一、决策树的介绍

决策树是一种基本的分类与回归方法，它主要是一种监督学习算法。这种方法采用树形结构，其中每个内部节点表示一个属性上的判断条件，每个分支代表一个判断结果的输出，而每个叶节点则代表一个类别。决策树算法通过对训练数据的分析来学习决策规则，从而建立一个决策树模型，用于对新数据进行分类或预测。

二、决策树的原理

决策树的基本原理是将数据集分成多个小的子集，每个子集都对应一个决策节点，最终形成一棵树状结构。这个树状结构用于对数据进行分类或回归预测。在树的构建过程中，每个内部节点表示一个属性上的判断条件，根据这个条件将样本分配到不同的子节点中。这个过程一直递归进行，直到满足某个终止条件为止，此时形成叶节点，代表最终的决策结果或预测值。

三、决策树的构建

• 数据预处理

  • 数据清洗：此步骤旨在去除数据中的缺失值、异常值和重复值等无效数据。对于缺失值，可以采取填充（如均值填充、中位数填充等）、插值或删除包含缺失值的记录等方法进行处理。异常值则可以根据其特性进行识别并处理，如删除或替换为正常值。
  • 特征选择：从原始特征中选择出最具有代表性的特征，即那些对分类或预测结果影响最大的特征。这通常基于统计测试、领域知识或特征的重要性评估等方法。
  • 特征转换：有时原始特征可能不适合直接用于构建决策树，因此需要进行转换。例如，对于连续型特征，可以将其离散化（如分箱操作）；对于高维特征，可以通过降维技术进行处理。

• 特征选择

  在构建决策树时，需要选择一个合适的划分属性。这个属性应该能够将样本集合划分成不同的类别，并且使得每个类别内部相似度较高，不同类别之间相似度较低。常用的特征选择方法有信息增益、信息增益比和基尼指数等。这些方法通过计算不同特征的信息增益或基尼指数来评估其重要性，从而选择出最优的划分属性。

1. 信息增益（Information Gain）：这是决策树算法中常用的特征选择准则。它衡量的是选择某个特征作为划分属性时，所能带来的数据集纯度的提升程度。信息增益越大，说明使用该特征划分数据集后所获得的“纯度提升”越大。

2. 信息增益比（Gain Ratio）：增益率是对信息增益的一个改进，它考虑了特征取值数量的影响。当特征的取值数量较多时，信息增益可能会偏大，而增益率通过引入一个惩罚项来修正这一问题。

3. 基尼指数（Gini Index）：基尼指数也是决策树算法中常用的特征选择准则，尤其在CART（Classification and Regression Trees）算法中。它衡量的是数据的纯度或不纯度，值越小纯度越高，因此在选择划分特征时，会选择使得划分后基尼指数最小的特征。

• 构建决策树

  • 样本划分：根据选定的特征将数据集进行划分，生成子节点。每个子节点对应一个特征值的取值范围或具体值。
  • 递归构建：对每个子节点重复上述过程，即继续选择特征进行划分，直到满足停止条件为止。停止条件通常包括所有样本属于同一类别、所有特征都已被使用或达到预设的树的最大深度等。

• 剪枝处理

  • 预剪枝：在决策树构建过程中，对每个节点在划分前进行估计。如果当前节点的划分不能带来模型性能的提升（如通过交叉验证评估），则停止划分并将该节点标记为叶节点。
  • 后剪枝：先构建完整的决策树，然后从底向上对非叶节点进行考察。如果替换某个子树为叶节点能够提升模型的性能（如通过评估在验证集上的性能），则进行替换。

四、决策树的实例

预测信用卡欺诈

代码：

import pandas as pd  
from sklearn.model_selection import train_test_split  
from sklearn.tree import DecisionTreeClassifier  
from sklearn.metrics import accuracy_score  
  
# 假设的信用卡欺诈数据集  
dataSet = [  
    # [年龄, 性别, 收入, 欺诈]  
    [25, '男', 50000, '否'],  
    [30, '女', 80000, '否'],
    [35, '男', 75000, '是'],
    [28, '女', 90000, '是'],  
    [32, '男', 60000, '否'],  
    [38, '女', 85000, '是'],  
    [29, '男', 75000, '否'],  
    [31, '女', 95000, '是'],  
    [27, '男', 65000, '否'],  
    [33, '女', 100000, '是'],
    [40, '男', 70000, '是']
]  
  
# 特征标签  
labels = ['年龄', '性别', '收入']  
  
# 将类别标签转换为数值型，'男'为0，'女'为1 ,欺诈'否'为0，'是'为1
data = [[age, 0 if gender == '男' else 1, income, 0 if fraud == '否' else 1]   
         for age, gender, income, fraud in dataSet]  
  
df = pd.DataFrame(data, columns=labels + ['是否欺诈'])  
  
# 划分特征和目标变量  
X = df[labels]  
y = df['是否欺诈']  
  
# 划分训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)  
  
# 创建决策树分类器  
clf = DecisionTreeClassifier()  
  
# 训练模型  
clf.fit(X_train, y_train)  
  
# 在测试集上进行预测  
y_pred = clf.predict(X_test)  
  
# 打印测试集特征和预测结果  
print(X_test)  
print(f'预测结果为：{y_pred}')  
  
# 计算准确率  
accuracy = accuracy_score(y_test, y_pred)  
print(f'模型准确率: {accuracy * 100:.2f}%')

结果：

五、总结

本次实验通过scikit-learn库构建并训练了决策树分类器，用于处理分类问题。实验过程中，成功地将数据集划分为特征和目标变量，并划分为训练集和测试集。通过训练模型并对测试集进行预测，评估了决策树模型的性能，结果显示其分类准确率较高。决策树模型具有易于理解和解释的优点，但也需要注意其可能存在的过拟合问题。尽管存在这些局限性，决策树仍然是一种广泛适用的机器学习算法，可用于多种实际场景。未来，我们可以通过集成方法进一步提升决策树的性能。