决策树的优化-剪枝

决策树在面临过拟合问题时需要进行剪枝,以提高泛化能力。预剪枝在创建过程中根据节点准确率决定是否继续分枝,而后剪枝则对完整决策树的叶子节点自底向上检查,通过比较分枝前后的准确率来确定剪枝。以脐部为例,通过比较分枝前后的准确率,证明了剪枝的必要性。
摘要由CSDN通过智能技术生成

为什么决策树需要剪枝?我们可以类比于神经网络的“过拟合”问题来进行思考。在神经网络之中,会出现过拟合问题,即出思安对特定的样本识别率升高,对其余样本的识别率降低。在决策树中也会出现类似的问题,会出现枝条过多的现象,是问题复杂化,准确率却得不到上升。

决策树的剪枝分为2种,一种是预剪枝,第二种是后剪枝。

预剪枝:在创建进行到某一个节点处,我们先计算当前节点的准确率p^{1},然后在按照该节点的属性进行分类,在计算分类后的准确率p^{2},比较p^{1}p^{2},如果p^{1}较大则该节点不需要进一步的分枝,否则如果

数据挖掘是指从数据库中抽取隐含的、具有潜在使用价值信息的 过程,是一种新型的数据分析技术,已被广泛应用于金融、保险、政 府、教育、运输以及国防等领域。 数据分类是数据挖掘中一个重要的内容。分类存在很多方法,其 中决策树算法是以实例为基础的归纳学习算法,以其易于提取显式规 则、计算量相对较小、可以显示重要的决策属性和较高的分类准确率 等优点而得到广泛的应用。据统计,目前决策树算法是利用最广泛的 数据挖掘算法之一。 然而在实际应用过程中,现存的决策树算法也存在着很多不足之 处,如计算效率低下、多值偏向等。因此,进一步改进决策树,提高 决策树的性能,使其更加适合数据挖掘技术的应用要求具有重要的理 论和实际意义。 本文针对上述数据库知识发现的不足,进行深入的研究,探索数 据挖掘中决策树分类的组合优化算法,以便更好地提高分类的准确 性。应用于实际工作中,主要研究工作如下: 首先,从宏观上介绍了数据挖掘和分类技术的理论基础,并重点 对决策树算法进行了分析和比较。 然后,提出了一种新的适合于高维数据库的组合优化决策树算 法。相比于传统的分类算法,该算法从降维、属性选择、可扩展性和 剪枝等方面进行了改进。其中最主要是提出基于加权属性协调度并结 合简化预剪枝策略的决策树算法一DTBAC算法,以及加强算法可扩 展性的FAVC集。 最后,着重介绍了所研发的组合优化决策树分类器系统。它以 DTBAC算法为核心算法生成分类器,并应用到医学领域对病人进行 分类。通过对比分析发现,DTBAC算法在总体性能上要优于目前被 广泛采用的ID3算法。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值