从奥卡姆剃刀定律再看决策树

最新推荐文章于 2022-11-22 22:33:39 发布

杨小吴的算法博客

最新推荐文章于 2022-11-22 22:33:39 发布

阅读量756

点赞数

分类专栏：决策树文章标签：决策树剪枝

本文链接：https://blog.csdn.net/yangzixuan_0608/article/details/106859995

版权

决策树专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一、决策树理论

1、一句话总结决策树

-- 决策树是一种自上而下，对样本数据进行树形分类的过程
-- 由结点和有向边组成

2、决策树结点

-- 决策树结点分为：内部结点、叶子节点
-- 每个内部结点表示一个特征或者属性
-- 叶节点表示类别

3、决策树分类过程描述

-- 从顶部根结点开始，所有样本聚在一起。
-- 经过根结点的划分，样本被分到不同的子结点中。
-- 再根据子结点的特征进一步划分
-- 直至所有样本都被归到某一个类别（即叶结点）中。

4、决策树应用

-- 决策树为什么再市场营销和生物医药等领域尤其受欢迎
-- 主要因为树形结构与销售、诊断等场景下的决策过程十分相似

二、生成决策树的三个过程

【特征选择】
【树的构造】
【剪枝】

1、特征选择

-- ID3：根据每个特征在分类前后的最大信息增益来选择特征先后顺序
-- 某特征信息增益 = 分类前信息熵 - 分类后各个结点条件信息熵之和

-- C4.5：根据每个特征在分类前后的最大信息增益比来选择特征的先后顺序
-- 某特征信息增益比 = 某特征信息增益 / 数据集D关于特征A的取值熵
-- 其中Di为特征A取第i个值的样本子集大小
-- ID3和C4.5都是分类树，这是因为他们的损失函数不适用于回归

-- CART：根据特征的最小基尼指数来选择特征先后顺序
-- CART是回归树：因为CART损失函数是均方差损失，而且回归树一般可以用来做分类
-- 基尼指数中|Ck|表示样本集合D中属于第K类的样本子集个数,这个K是叶子节点的类别数，而不是特征的取值
-- CART树是一棵二叉树，假设有一个内部结点A1，值为：1，2，3，则是，单就这个节点而言，每次样本划分的方法是：
-- {A1 > 1.5 ,A1<1.5} , {A1>2.5 , A1<2.5} ,{A1>3.5 ,A1<3.5} ,切分值为排序后相邻取值的平均值
-- 然后分别算基尼指数，选择基尼指数最小的切分方法
        这里的Di和其他两种树的Di不太一样，这里的Di不是特征A的具体取值，而是特征A的切分点：

-- 为什么强调CART决策树是二叉树，这和ID3,C4.5的区别具体在哪里
-- ID3和C4.5都是基于内部节点的每一个取值来计算信息增益或者信息增益比
-- 所以计算出的是g(D,年龄)这样的结果（此处以年龄为例）
-- 而CART是二叉树，所以每次都要二分，二分依据是内部节点的某一个切分点
-- 还是以年龄为例
-- 所以计算出的就是这样的结果：
-- Gini(D|年龄=老)=0.4， Gini(D|年龄=年轻)=0.4

2、比较三个构造准则异同

1)、C4.5实际上是对ID3的优化
-- 举一个例子就可以：DNA
-- 每个人的DNA完全不同，但如果按照ID3的逻辑，每次按照DNA进行分类，虽然条件信息熵一定为0，但泛化能力特别差
-- 因为下次碰不到类似的DNA了，这个模型就无法进行分类
-- C4.5使用信息增益比，引入取值熵的概念，所谓取值熵其实就是对选择取值较多的特征时，加入一个惩罚，增强模型泛化能力

2)、样本类型区别
-- ID3只能处理离散型变量
-- C4.5可以处理连续变量：通过连续变量 - 找到类别分割线 -根据分割线将连续属性转换为布尔型(比如1，3，4，7，8，可以切分为5以下，5以上) - 布尔型数据即是离散性
-- CART本来就是二叉树，二叉树处理连续变量天然优势

3)、分类与回归
-- ID3和C4.5只能用于分类任务
-- CART既可以分类，又可以回归(使用损失函数为：最小平方误差，最终回归出的值就是叶子节点中所有样本标签的均值)

4)、缺失值问题
-- ID3比较敏感，另外两个不敏感

5)、特征在层级之间复用问题
-- ID3,C4.5每个特征在层级之间不会复用，CART会复用

6)、ID3、C4.5依赖剪枝来权衡树的准确性和泛化能力
-- CART会直接利用全部数据发现所有可能树的结构进行对比(还是二叉树的特性)"

3、树的剪枝

决策树的剪枝通常有两种办法：

1）、预剪枝：在树中结点进行扩展之前，先计算当前的划分是否能带来模型泛化能力的提升，如果不能，则不再继续生长子树
-- 此时可能存在不同类别的样本同时存于结点中，按照多数投票的原则判断该结点所属类别
-- 常用预剪枝方法：
-- 树的深度、当前节点样本数量阈值、每次分裂对测试集准确度阈值
-- 风险：依赖经验、容易欠拟合、当前准确率低不一定之后准确率低

2）、后剪枝：是让算法生成一棵完全生长的决策树，然后从最底层向上计算是否剪枝。剪枝过程将子树删除，用一个叶子结点替代，该结点的类别同样按照多数投票的原则进行判断
-- 同样地，后剪枝也可以通过在测试集上的准确率进行判断，如果剪枝过后准确率有所提升，则进行剪枝
-- 缺点：开销大
-- 常见后剪枝方法：错误率降低剪枝（Reduced Error Pruning，REP）、悲观剪枝（Pessimistic Error Pruning，PEP）、代价复杂度剪枝（Cost Complexity Pruning，CCP）、最小误差剪枝（Minimum Error Pruning，MEP）、CVP（Critical Value Pruning）、OPP（Optimal Pruning）等方法

3）、CCP：代价复杂剪枝 "核心思想还是循环每一个内部节点(子树序列)
-- 剪枝之后那个子树用一个叶子节点替代
-- 计算剪枝之后叶子节点t的训练数据集合误差R(t)和剪枝之前那个子树Tt的误差R(Tt)
-- 考虑树的复杂性：即是子树Tt的叶子节点个数
-- 计算误差增加率α：