机器学习--决策树

一、决策树的概念及应用领域

        决策树是一种基于树形结构的监督学习算法。它通过一系列的决策规则，将数据集分割为不同的类别或预测值。
        在决策树中，每个内部节点代表一个属性，每条边代表一个属性取值，每个叶子节点代表一个类别或预测值。从根节点开始，通过对每个属性进行二分来分割数据集，最终得到一颗树形结构，可以用于分类和回归。
        决策树的生成过程通常包括特征选择、树的构建和剪枝三个步骤。特征选择是通过计算各个属性的信息增益或基尼指数来选择最优的属性进行划分。树的构建通过递归地对子数据集进行划分，直到满足停止条件为止。剪枝是通过对已经生成的树进行裁剪来降低模型复杂度。
        在分类问题中，决策树可以用来预测某个样本属于哪个类别，比如垃圾邮件分类、疾病诊断、客户信用评级等。在回归问题中，决策树可以用来预测某个样本的数值，比如房价预测、股票价格预测等。
        总之，决策树是机器学习领域的重要算法之一，被广泛应用于各个领域的分类和回归问题。

二、决策树算法的基本原理

        通过对每一个属性进行二分来生成一棵树形结构，每个节点代表一个属性，每个叶子节点代表一个类别或预测值。通过计算信息增益或基尼指数来选择最优的属性进行划分。

三、决策树构建过程

1.特征选择： 指从所有可用特征中选择最优的特征来进行划分。常用的特征选择准则包括信息增益、信息增益率和基尼指数。
        1.1信息增益：
信息熵是代表随机变量的复杂度（不确定度），条件熵代表在某一个条件下，随机变量的复杂度（不确定度）
而我们的信息增益恰好是：信息熵 - 条件熵。

换句话说，信息增益代表了在一个条件下，信息复杂度（不确定性）减少的程度。

        1.1.1信息增益计算步骤：

                1.计算划分前数据集的信息熵（Entropy(D)）。

                  其中，p(c)表示数据集中属于类别c的样本的比例。

                Entropy(D) = -Σ(p(c) * log₂(p(c)))

                2.对于每个特征，计算划分后的条件熵（Conditional Entropy，Entropy(D|A)），即根据该特征的取值进行划分后的子集的加权平均信息熵。

                Entropy(D|A) = Σ(|Dv| / |D|) * Entropy(Dv)

                其中，|Dv|表示划分后第v个子集的样本数，|D|表示划分前数据集的样本数。

                3.计算信息增益（Information Gain）。

        Information Gain = Entropy(D) - Entropy(D|A)

信息增益越大，表示划分后的数据集的不确定性减少程度越大，特征对分类的贡献越大。因此，在决策树构建过程中，可以选择信息增益最大的特征作为当前节点的划分属性。

        1.2基尼指数：
基尼指数（Gini Index）是一种用于度量数据集纯度的指标，常用于决策树算法中的特征选择。基尼指数越小，数据集的纯度越高。

        1.2.1基尼指数计算步骤：

        设数据集D中有K个类别，样本总数为N。对于第i个类别，假设样本点属于该类别的概率为pi，则该类别的基尼指数为：

         Gini(p) = 1 - Σ(pi²)

        对于数据集D，其基尼指数为所有类别基尼指数的加权平均值，即：

         Gini(D) = Σ(|Ck| / N) * Gini(Dk)

        其中，|Ck|表示属于第k个类别的样本个数，Dk为属于第k个类别的样本子集。

        2.树的构建： 采用递归的方式，将数据集划分为若干子集，直到满足停止条件。常见的算法有ID3、C4.5和CART。
        3.剪枝： 为了降低模型复杂度，防止过拟合。常见的剪枝方法有预剪枝和后剪枝。
 
        1.预剪枝：在构建决策树的过程中，在每个节点进行划分前，通过设置阈值来决定是否进行划分。例如，当节点的样本数量小于一定阈值时停止划分，或者通过限制树的最大深度等方式来控制模型的复杂度。

         2.后剪枝：先构建完整的决策树，然后通过自下而上的方式对决策树进行修剪。具体做法是对每个非叶节点进行考察，将该节点替换为叶节点，并计算剪枝后的验证集上的性能变化，如果剪枝后性能没有显著下降，则进行剪枝操作。

四、决策树代码实现

import numpy as np
class Node:
    def __init__(self, feature_index=None, threshold=None, value=None, true_branch=None, false_branch=None):
        self.feature_index = feature_index  # 特征索引
        self.threshold = threshold  # 分割阈值
        self.value = value  # 叶节点值
        self.true_branch = true_branch  # 左子树
        self.false_branch = false_branch  # 右子树
class DecisionTree:
    def __init__(self, max_depth=None):
        self.max_depth = max_depth
 
    def gini(self, labels):
        _, counts = np.unique(labels, return_counts=True)
        probabilities = counts / len(labels)
        gini_score = 1 - np.sum(probabilities**2)
        return gini_score
 
    def split_data(self, X, y, feature_index, threshold):
        true_indexes = X[:, feature_index] <= threshold
        false_indexes = X[:, feature_index] > threshold
        x_true, y_true = X[true_indexes], y[true_indexes]
        x_false, y_false = X[false_indexes], y[false_indexes]
        return x_true, y_true, x_false, y_false
 
    def find_best_split(self, X, y):
        best_gini = 1
        best_feature_index, best_threshold = None, None
 
        for feature_index in range(X.shape[1]):
            thresholds = np.unique(X[:, feature_index])
            for threshold in thresholds:
                x_true, y_true, x_false, y_false = self.split_data(X, y, feature_index, threshold)
                gini = (len(y_true) * self.gini(y_true) + len(y_false) * self.gini(y_false)) / len(y)
                if gini < best_gini:
                    best_gini = gini
                    best_feature_index = feature_index
                    best_threshold = threshold
 
        return best_feature_index, best_threshold
 
    def build_tree(self, X, y, depth=0):
        if depth == self.max_depth or len(np.unique(y)) == 1:
            value = np.argmax(np.bincount(y))
            return Node(value=value)
 
        feature_index, threshold = self.find_best_split(X, y)
        x_true, y_true, x_false, y_false = self.split_data(X, y, feature_index, threshold)
 
        true_branch = self.build_tree(x_true, y_true, depth + 1)
        false_branch = self.build_tree(x_false, y_false, depth + 1)
 
        return Node(feature_index=feature_index, threshold=threshold, true_branch=true_branch, false_branch=false_branch)
 
    def fit(self, X, y):
        self.root = self.build_tree(X, y)
 
    def predict(self, X):
        predictions = np.full(len(X), -1)  # 初始化为无效值
        for i, sample in enumerate(X):
            node = self.root
            while node.value is None:
                if sample[node.feature_index] <= node.threshold:
                    node = node.true_branch
                else:
                    node = node.false_branch
            predictions[i] = node.value  # 更新为叶节点值
        return predictions
# 构造示例数据集
X = np.array([[2, 3], [3, 4], [1, 2], [4, 5]])
y = np.array([0, 0, 1, 1])
 
# 创建决策树对象并拟合数据集
clf = DecisionTree(max_depth=2)
clf.fit(X, y)
 
# 进行预测
new_samples = np.array([[2.5, 3.5], [1.5, 1.5]])
predictions = clf.predict(new_samples)
print(predictions)

五、决策树算法的优劣​​​​​​​

优势：

1.可解释性强：决策树模型具有可读性和可理解性，可以直观地表达特征之间的关系，从而有效地帮助用户做出决策。
2.数据预处理简单：决策树算法对数据的缺失值和异常值容忍度较高，不需要进行复杂的数据预处理。
3.高效性：决策树算法可以快速地对大型数据集进行分类，适用于实时分类和在线学习。
可处理多类别问题：决策树算法可以很容易地处理多类别分类问题。

劣势：

1.容易过拟合：在训练数据上，决策树算法可以生成复杂的决策树，容易过拟合。为了避免过拟合，需要采取剪枝等措施。
2.不稳定性：小的数据变化导致生成的决策树可能完全不同。
忽略属性之间的相关性：决策树算法通常假设属性之间是独立的，忽略属性之间的相关性，导致决策树算法在某些情况下效果不佳。
3.易受噪声影响：决策树算法对输入数据的噪声和错误非常敏感，可能会导致错误的分类结果。
总之，决策树算法具有许多优点，但也存在一些缺点，需要根据具体应用场景来选择是否使用该算法。