决策树(四)之Python实现CART算法

最新推荐文章于 2024-09-01 23:50:46 发布

三岁就很萌@D

最新推荐文章于 2024-09-01 23:50:46 发布

阅读量4.3k

点赞数 8

分类专栏：机器学习算法统计学习方法

本文链接：https://blog.csdn.net/qq_44822951/article/details/109319980

版权

CART算法

CART 是一种广泛应用的决策树学习方法。它同样由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。分类树与回归树的区别在样本的输出，如果样本输出是离散值，这是分类树；样本输出是连续值，这是回归树分类树的输出是样本的类别，回归树的输出是一个实数。

在CART算法中，假设决策树是一个二叉树，内部结点特征的取值为 “是” 和 “否” 。左分支取值为"是" ,右分支取值为 “否”。

CART算法由以下两步组成:
1 决策树生成:基于训练数据生成决策树，生成的这棵决策树要尽可能大
2 决策树剪枝: 用验证数据集对已生成的树进行剪枝并选择最优子树(以损失函数最小作为剪枝标准)

CART 回归树的生成
回归树用平方误差最小化准则，进行特征选择，生成二叉树

一棵回归树将输入空间划分为多个单元，假设有M个单元 R₁,R₂,…,R_M ,并且每个单元对应一个输出值C_m
回归树模型可以表示为
在这里插入图片描述这个公式的含义是这样的
若有一个样本点(x_i,y_i) 属于单元R₁ 那么 f(x_i)=c₁ 其实就是输出了在决策树中该样本点的类别

设x₁,x₂,…x_n 代表单个样本的n个属性,y表示所属类别，CART算法通过递归的方式将n维的空间划分为不重叠的矩阵,划分步骤如下:
(1) 选一个自变量x_i,再选取x_i的一个值v_i ，v_i 把n维空间划分为两部分,一部分的点在x_i上的取值a都满足a<=v_i ，另一部分的所有点在x_i上的取值a满足a > v_i
(2) 递归处理,将上面得到的两部分按步骤(1) 重新选取一个属性进行划分,直到把整个n维空间划分完

如何选取特征x_i以及v_i来划分特征空间?
在选择特征时，采用启发式算法，选择第j个特征的某个取值s作为一个切点值将数据集进行划分为两部分。

对 j,s 的选择就要用到下面的公式啦
在这里插入图片描述其中
(为什么 c₁ ,c₂这样表示，在下面会解释)

首先遍历所有的特征，对于一个特征 j 将它的所有取值依次作为R₁，R₂ 的切分点，计算上述公式，从而找到最佳的 j，s 划分出两个区域，之后对所有的区域重复上述步骤直到满足停止条件，就生成了一棵回归树啦

当划分好输入空间后，可以使用平方误差在这里插入图片描述
表示回归树对于训练数据的预测误差，用平方误差最小的准则求解每个单元上的最优输出值。（别忘了 f(x_i)=c_m )

在这里插入图片描述对平方误差求导
在单个单元中，最优的f(x_i)为单元内所有数据对应y值的平均值。

CART回归树具体生成步骤如下：
Step1：获得训练数据集，根据数据集第一个特征的第一个分量将数据集分为大于该分量和小于该分量的两个数据集R1和R2，其中 R1={x|R_j≤s},R2={x|R_j>s}。
Step2：根据两个数据集对应y值的平均获得c1和c2，分别计算两个数据集的平均绝对误差（其实就是各个数据集y值的总均方差。
Step3：重复Step1~2，遍历整个数据集的所有特征所有分量，获得均方误差值的矩阵。
Step4：根据矩阵寻找均方误差最小的分割方案，将该分割点作为树的节点，将分割后的数据集分别赋值给该节点左子树和右子树。
Step5：重复步骤1~4，递归地将数据集分割为更小的部分，直到总均方差的下降值小于某阈值或者数据集中只剩下一类数据为止(停止条件)。

CART 分类树的生成

分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点。
基尼指数（基尼不纯度）：表示在样本集合中一个随机选中的样本被分错的概率。
注意： Gini指数越小表示集合中被选中的样本被分错的概率越小，也就是说集合的纯度越高，反之，集合越不纯。
基尼指数（基尼不纯度）= 样本被选中的概率 * 样本被分错的概率
下面给出基尼指数的正式定义
在这里插入图片描述如果将数据集D按某一特征A 是否取一可能值a 分为 D₁ 和 D₂ 两部分
设当A=a时,数据(x_i,y_i) 属于D₁ 当 A不等于a时数据(x_i,y_i) 属于D₂
则在特征 A 的条件下，集合 D 的基尼指数定义为
基尼指数 Gini(D) 表示集合 D 的不确定性，基尼指数值越大，样本集合的不确定性也就越大。

CART分类树的生成算法
输入: 训练数据集 D，停止计算的条件
输出 : CART 决策树。
根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉决策树:
(1)设结点的训练数据集为 D，计算现有特征对该数据集的基尼指数。此时,对每一个特征 A，对其可能取的每个值 α，根据样本点对 A= α 的测试为"是"或"否" 将 D 分割成 Dl 和 D2 两部分，利用式在这里插入图片描述
计算 A= α 时的基尼指数。
(2) 在所有可能的特征 A 以及它们所有可能的切分点 α 中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
(3) 对两个子结点递归地调用(1)， (2) ，直至满足停止条件。
(4) 生成 CART 决策树。

算法的停止条件（满足3者之一即可)
1结点中的样本个数小于预定阈值
2样本集的基尼指数小于预定阈值(样本基本属于同一类)
3 没有更多特征

举个例子,在前文贷款数据上,建立一棵CART 分类树

ID	年龄	有工作	有自己的房子	信贷情况	类别
1	青年	否	否	一般	否
2	青年	否	否	好	否
3	青年	是	否	好	是
4	青年	是	是	一般	是
5	青年	否	否	一般	否
6	中年	否	否	一般	否
7	中年	否	否	好	否
8	中年	是	是	好	是
9	中年	否	是	非常好	是
10	中年	否	是	非常好	是
11	老年	否	是	非常好	是
12	老年	否	是	好	是
13	老年	是	否	好	是
14	老年	是	否	非常好	是
15	老年	否	否	一般	否

在这里插入图片描述 Gini(D,有房子) = 0.27 最小，所以选择特征有自己的房子为最优特征，
之后根据类似I的过程可以生成一棵决策树

CART剪枝
设CART 生成算法生成的决策树是T₀
CART 剪枝算法由两步组成:
1 从T₀的叶结点开始不断进行剪枝形成一个决策树子树序列{T₀, T₁,…T_n}
2 通过交叉验证法在独立的验证数据集上对每棵子树进行测试选出最优子树

·下面介绍在CART算法中广泛使用的一种剪枝算法-代价复杂性剪枝法CCP(Cost Complexity Pruning)

对于分类回归树中的每一个非叶子节点计算它的表面误差率增益值α。

|N_T|是子树中包含的叶子结点个数;

R(t) 是结点t的误差代价，R(t)=r(t)∗p(t)

r(t)是结点t的误差率，如果该结点被剪枝（把该结点当作一个叶子结点); 比如结点t的数据可分为两类 A 50 B 10 根据将一个结点分类为多数数据所在的类则结点所有数据将被分为A类也就是B类数据被误分 B类占结点数据的10/60 所以误差率r(t) 就是10/60

p(t)是结点t上的数据占所有数据的比例。

R(T_t) 是子树T_t的误差代价，如果该结点不被剪枝。它等于子树T_t上所有叶子结点的误差代价之和

1举个例子
在这里插入图片描述已知所有的数据总共有60条，则结点t₄的节点误差代价为：
子树误差代价为：
以t₄为根节点的子树上叶子结点有3个
根据以上运算规则我们每一轮都计算所有内部结点的a值并选择a最小的进行剪枝
（直到没有内部结点可供剪枝了为止) 进而形成一个子树序列 T₀ ，T₁ , T₂… T_n 其中对T_i剪枝形成了T_i+1

CART的·Python实现

结点

class Node:
    def __init__(self,data,left,right,feature,split,value):
     self.data=data#这个结点包含的数据
     self.left=left #左孩子
     self.right=right #右孩子
     self.feature=feature #这个结点是用哪个特征进行划分的
     self.split=split # 这个结点的划分点值是多少
     self.value=value #这个结点属于哪一类 只有叶子结点才有值

CART算法

class CART:
    def __init__(self,Train,features,label,tree_type,feature_name):
        self.Train=Train #训练集
        self.features=features #特征
        self.label=label #标签
        if tree_type=="c":
            self.root=self.create_classification_tree(Train)
        else:
            self.root=self.create_regression_tree(Train)
        self.feature_name=feature_name
        self.roots=[] #存放子树序列
        #self.roots.append(self.root)#首先将树的初始形式放入roots中
        self.a=sys.maxsize
        self.minnode=None
    def is_one_class(self, data, label):  # 判断data中的数据是否属于同一类 并返回类数组
        X = data[:, label:label + 1]
        labels = []
        for i in range(X.shape[0]):
            if X[i][0] not in labels:
                labels.append(X[i][0])
        if len(labels) == 1